搭建过程:https://blog.csdn.net/pucao_cug/article/details/71698903
非常详细的文章,感谢大神。
根据步骤一步步来,不难,而且基本没有出错。碰到的唯一问题是装java的时候的问题,我的解决方案:https://blog.csdn.net/touziss/article/details/82859035
启动hadoop以后,做个小实验熟悉一下。参考https://www.cnblogs.com/qingyunzong/p/8496127.html#_label4
- 在HDFS上新建一个/test/input文件夹,因为要用到hadoop命令,所以要cd到HADOOP_HOME/bin
- 用命令 ./hadoop fs -mkdir -p /test/input
- 注意:原文里应该是mac系统,直接用的hadoop命令,但是在centos系统下需要用./hadoop命令
- 查看一下 ./hadoop fs -ls / ,因为我还装了hbase,所以还有一个hbase文件夹。
- 上传文件./hadoop fs -put
- 然后根据原文步骤,测试mapreduce的例子程序,命令:./hadoop jar /opt/hadoop-2.8.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar
- 运行的时候,发现出错,忘记截图,然后用web页面查看,发现8088页面打不开,jps发现resource manager没有启动!!!
- 网上找了很多教程,包括关闭防火墙等等都无法使用,这个时候,一篇教程提醒我,每个人的问题不一样,去看看自己的logs
- cd /opt/hadoop-2.8.0/logs,打开yarn-root-resourcemanager-centos7-1.log,发现一个很弱智的问题
- 配置yarn-site.xml文件的时候,把hostname打错了,打成了houstname。。。。。
- 于是改过来再jps就可以了
- 运行mapreduce实例程序也成功了,但是浏览器 localhost:8088依旧打不开,localhost:50070可以打开
- netstat -nltp查看端口情况
- 好像没什么问题。不知道为什么,于是我在浏览器输入ip:8088,也就是输入了172.10.0.58:8088,就可以打开了,还不知道原因。
- 反正其他的都是正常的,就先这样吧。
- 后来在ubuntu上重新配置,基本能成功,但是测试wordcount,最后虽然会成功,总是卡住。
- 原因是yarn-site.xml没有配置内存,导致内存不够,跑得很慢。配置了内存之后就解决了问题。