hadoopsdk使用_hadoop部署使用问题及解决

在cygwin环境中填写路径信息时务必注意将“\”替换为“/”。

hadoop文件夹名称不能包含“-”，比如“hadoop-2.4.0”会出错。

在cygwin环境中尽管“C:\abc”和“/cygdrive/c/abc”都可以被正确识别，但某些软件会将前者识别为相对路径，从而出现错误。所以请尽可能按后一种方式配置路径。

>> 找不到或无法加载主类 org.apache.hadoop.util.RunJar

在 Cygwin环境中，通过hadoop执行Jar包时会提示如下错误信息：

错误: 找不到或无法加载主类 org.apache.hadoop.util.RunJar

问题分析：原因是因为hadoop的CLASSPATH没有被正确设置。

解决办法：在~/.bashrc 文件中增加如下命令：

export HADOOP_CLASSPATH=$(cygpath -pw $(HADOOP_PATH classpath)):$HADOOP_CLASSPATH

注意，上面命令行中的“HADOOP_PATH”请替换成真实的可执行hadoop文件的路径。(如：/cygdrive/e/hadoop/bin/hadoop)

>> Failed to locate the winutils binary in the hadoop binary path

Microsoft Windows SDK for Windows 7 and .NET Framework 3.5 SP1(可以从Install Instructions中直接下载ISO安装包):

http://www.microsoft.com/en-us/download/details.aspx?id=3138

Microsoft Windows SDK for Windows 7 and .NET Framework 4(可以从Install Instructions中直接下载ISO安装包):

http://www.microsoft.com/en-us/download/details.aspx?id=8279

>> Unable to load native-hadoop library for your platform

解决办法：在Windows环境变量Path中增加“%HADOOP_HOME%\bin”

通常，在修改环境变量Path后，即使重新连接SSH，修改后的环境变量也不会生效。此时可重启Windows服务“CYGWIN sshd”或重启操作系统。

>> 如何设置s3文件系统的Region/Endpoint信息

在项目源代码根路径添加文件：jets3t.properties，并在文件中添加配置项：

s3service.s3-endpoint=s3.cn-north-1.amazonaws.com.cn

>> failed on connection exception: java.net.ConnectException: Connection refused

dd