CentOS 7安装Hadoop 3.2遇到的坑

CentOS 7安装Hadoop 3.2遇到的坑

JDk的版本

建议使用JKD 8.0
我是从官网下载了最新的13版本，HDFS可以运行，YARN运行报错。看了下日志，搜索报错信息，发现有用JDK 9的也报错，该为JDK8后正常。
变为JDK8后正常。所以建议大家还是用JDK 8来搭Hadoop

多机互信

这个比较简单，但是运行的时候发现与本机的沟通有问题。可能是因为我是远程登陆后启动的。
给本机再copy下id解决

运行用户

我是直接用root安装的，没有创建HDFS等用户
所以需要在start-dfs.sh、stop-dfs.sh、start-yarn.sh、stop-yarn.sh开头指明以root运行

mapreduce测试报错

报错是找不到jar文件，classpath有问题
按照提示信息修改后仍然报错，需要：
hdoop classpath
把结果复制到mapred-site.xml中配置yarn的classpath，直接复制就行。开始还想着这一堆冒号怕是不行。

host和hostname

开始hostname写的和host不一样，hdfs能运行，mapreduce报错，查看日志是链接超时
修改hostname和Hadoop配置中的节点名称一致，解决。

性能压力测试

用例子跑pi，后面的循环次数选的比较大
exsi配置：
e5 2470 v2*2，共20核40线程
内存是80G
三台虚拟机，每个虚拟机8核心8G内存
跑起来后，exsi监控CPU满载，内存使用28G这样
同时网页监控正常，可以判断安装、运行正常