问题:
新人吃亏问题,由于三个linux系统是不同时期安装,所以里面文件目录比较混乱,结果在安装hadoop时候每一个节点的hadoop目录不一致,结果启动时候发现未找到其他节点的hadoop_home,所以导致本人再一次重新规范相同路径。(避免新人吃亏)
问题:
Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray 或者
hadoop “util.NativeCodeLoader: Unable to load native-hadoop library for your platform” 或者
UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunke 以上三种一场全是由于位数不一致导致,解决方案如下。(其余待补充)
原因:
这是由于安装的hadoop版本和linux系统位数不匹配问题,保证一致位数。
个人解决方法:
下载对应的64位库文件进行覆盖即可,不必重新全安装。hadoop2.6.3对应的64位库文件下载链接:http://pan.baidu.com/s/1skfbJRJ 密码:mmei。将hadoop-native-64放在lib下的native里面,将“如果报不兼容平台将该文件中内容替换到hadoop的bin目录下”即可!!!
致命坑爹问题:(由学长(山哥)帮助解决,感激不尽)
坑爹的HOSTS文件中在第一行配置了一个node1(红色标记) 结果安装完毕之后每次启动hdfs和yarn之后,向hdfs上创建文件夹没有问题,但是hadoop dfs -put data.txt /则抛异常提示:
hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException):
File /test/data._COPYING_ could only be replicated to 0 nodes
非常之坑爹啊,这个问题就是由于多配置node1所导致的。
原因:
node1节点上hosts文件中第一行配置的node1 是将node1直接作为localhost的一个别名,所以每次有node1的时候直接解析成了localhost导致datanode的节点无法连接到namenode上,所以一场提示0 node 。千万需要注意的问题。坑了我7小时之多!!!
配置:
各个hadoop配置文件不一一讲解,可以下载配置好的Hadoop文件包适当修改,下载链接:链接:http://pan.baidu.com/s/1pKtsSo7 密码:nfsh
三个节点的hadoop安装包下载地址如下:
链接:http://pan.baidu.com/s/1nufjNgX 密码:k60f