个人备份：centOS7中进行hadoop 2.8.5的搭建以及个人遇到的问题归纳

https://blog.csdn.net/pucao_cug/article/details/71698903

本文采用陈南志大神的搭建方式，并归纳鄙人在搭建时遇到的问题。

1. 创建虚拟机 centOS7，安装必要的组件，Infrastructure server，DNS NAME SERVER，Email server。hostname分别为hserver1 hserverN…甚至随意命名，在步骤2，3.3，3.6，3.8注意即可。
   1.1 安装JDK，在centOS安装选项时时不要选则JDK，避免卸载步骤，在官网下载后安装；
   1.2 关闭防火墙：
   centOS7中关闭防火墙的命令：systemctl stop firewalld.service
   centOS7永久关闭防火墙命令不生效，所以在/etc/selinux/config下修改，把SELINUX=enforcing改为SELINUX=disabled重启后生效
   1.3 准备hadoop的binary，最近官网被墙，需要搭梯子，放在/opt/hadoop文件夹下（新建一个）
   1.4 关机后克隆虚拟机节省操作时间，但hostname会被克隆，使用命令hostname ${你的hostname}更改
   注意：centOS7的话在/etc/hostname中 更改
2. 配置SSH
   2.1 修改/etc/hosts，在原有内容下添加：
   192.168.119.131 hserver1
   $ip 和你的 $hostname
   2.2 为所有节点生成空字符串的秘钥ssh-keygen -t rsa -P ''
   2.3 在所有节点上都生成一个名为‘authorized_keys’的文件，命令：touch /root/.ssh/authorized_keys
   2.4 将所有节点的/root/.ssh/id_rsa.pub内容粘贴到authorized_keys中
   2.5此时已完成ssh配置，可以通过ssh命令从任意一个节点访问另外的节点
3. 安装hadoop，注意，以下配置是所有节点都需要执行，不然无法打开overview页面
   3.1 解压：1. cd /opt/hadoop 2.tar -xvf hadoop-2.8.5.tar.gz
   3.2新建目录：mkdir /root/hadoop mkdir /root/hadoop/tmpmkdir /root/hadoop/varmkdir /root/hadoop/dfs mkdir /root/hadoop/dfs/namemkdir /root/hadoop/dfs/date
   3.3按https://blog.csdn.net/pucao_cug/article/details/71698903 开始配置
   3.4 一些参数可参见：
   https://blog.csdn.net/yangjl38/article/details/7583374 hadoop三个配置文件的参数含义说明
   https://www.cnblogs.com/yinchengzhe/p/5142659.html Hadoop yarn配置参数
4. 初始化hadoop
   4.1 cd /opt/hadoop/hadoop-2.8.5/bin
   ./hadoop namenode -format
   格式化成功后，会新建/root/hadoop/dfs/name/current，current下有一系列文件
   若修改配置，则再次格式化即可
   4.2 cd /opt/hadoop/hadoop-2.8.5/sbin ./start-all.sh
   第一次执行的话会有两次问答，按提示进行即可
5. overview页面 http://namenode-ip:50070/
   hadoop 页面 http://namenode-ip:8088/
   搭建完成