hadoop安装

如今到处都能听到谈论大数据,不知为何物,所以空闲时间下载了hadoop-2.2。跟着网上的文章一步一步的安装,好不容易大功告成,结果却出人意料。http://192.168.2.201:8088/cluster无法打开,于是网上到处搜罗,好多都是copy的,看到都烦,无奈之下只能把日志改为DEBUG模式,从日志着手。日志显示org.apache.hadoop.yarn.webapp.WebApps: Web app /cluster started at 8088,查看端口也正常,继续寻找发现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable。网上查询得知下载的native包里的libhadoop.so.1.0.0和libhdfs.so.0.0.0是32位的。系统是redhat5.3x64位。

   接下来只有下载原码,自己编译。参考:http://www.linuxidc.com/Linux/2014-01/95938.htm。编译失败了几次,最后看到success的时候,那心情无法形容。期间也没做任何改动,前几次都是通过CRT操作。最后的那次是在本机上操作成功的。到现在是为何失败我也不清楚,不知道跟网络有没关系,上班时间网络超慢,成功的那次是下班后执行的,最长的一次编译了两个多小时。下面是编译失败的部分日志:

[ERROR] Failed to execute goal on project hadoop-common: Could not resolve dependencies for project org.apache.hadoop:hadoop-common:jar:2.2.0: Failed to collect dependencies at org.apache.commons:commons-math:jar:2.1: Failed to read artifact descriptor for org.apache.commons:commons-math:jar:2.1: Could not transfer artifact org.apache.commons:commons-parent:pom:14 from/to central (http://repo.maven.apache.org/maven2): GET request of: org/apache/commons/commons-parent/14/commons-parent-14.pom from central failed: Read timed out -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionException
[ERROR] 
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :hadoop-common

   编译后满怀希望的重新安装,配置,启动后,8088打开依然是个空白页面。网上搜索,折腾了两天还是无果。日志还是有hadoop library for your platform... using builtin-java classes where applicable。

后来不知道在哪儿看到有写redhat6.3+hadoop2.2是可以的。

   所以接下来的事就是换系统,安装,编译,配置,跟之前一样。最后证实hadoop2.2在redhat5.3x64位上运行有问题。在此标记下一,也分享给刚刚接触的童鞋,免得浪费时间。

   安装参考:http://www.aboutyun.com/forum.php?mod=viewthread&tid=7684

   在此把redhat63x64下编译的natvie包上传,供大家下载。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值