在cygwin环境中填写路径信息时务必注意将“\”替换为“/”。
hadoop文件夹名称不能包含“-”,比如“hadoop-2.4.0”会出错。
在cygwin环境中尽管“C:\abc”和“/cygdrive/c/abc”都可以被正确识别,但某些软件会将前者识别为相对路径,从而出现错误。所以请尽可能按后一种方式配置路径。
>> 找不到或无法加载主类 org.apache.hadoop.util.RunJar
在 Cygwin环境中,通过hadoop执行Jar包时会提示如下错误信息:
错误: 找不到或无法加载主类 org.apache.hadoop.util.RunJar
问题分析:原因是因为hadoop的CLASSPATH没有被正确设置。
解决办法:在~/.bashrc 文件中增加如下命令:
export HADOOP_CLASSPATH=$(cygpath -pw $(HADOOP_PATH classpath)):$HADOOP_CLASSPATH
注意,上面命令行中的“HADOOP_PATH”请替换成真实的可执行hadoop文件的路径。(如:/cygdrive/e/hadoop/bin/hadoop)
>> Failed to locate the winutils binary in the hadoop binary path
Microsoft Windows SDK for Windows 7 and .NET Framework 3.5 SP1(可以从Install Instructions中直接下载ISO安装包):
http://www.microsoft.com/en-us/download/details.aspx?id=3138
Microsoft Windows SDK for Windows 7 and .NET Framework 4(可以从Install Instructions中直接下载ISO安装包):
http://www.microsoft.com/en-us/download/details.aspx?id=8279
>> Unable to load native-hadoop library for your platform
解决办法:在Windows环境变量Path中增加“%HADOOP_HOME%\bin”
通常,在修改环境变量Path后,即使重新连接SSH,修改后的环境变量也不会生效。此时可重启Windows服务“CYGWIN sshd”或重启操作系统。
>> 如何设置s3文件系统的Region/Endpoint信息
在项目源代码根路径添加文件:jets3t.properties,并在文件中添加配置项:
s3service.s3-endpoint=s3.cn-north-1.amazonaws.com.cn
>> failed on connection exception: java.net.ConnectException: Connection refused
dd