https://blog.csdn.net/pucao_cug/article/details/71698903
本文采用陈南志大神的搭建方式,并归纳鄙人在搭建时遇到的问题。
- 创建虚拟机 centOS7,安装必要的组件,Infrastructure server,DNS NAME SERVER,Email server。hostname分别为hserver1 hserverN…甚至随意命名,在步骤2,3.3,3.6,3.8注意即可。
1.1 安装JDK,在centOS安装选项时时不要选则JDK,避免卸载步骤,在官网下载后安装;
1.2 关闭防火墙:
centOS7中关闭防火墙的命令:systemctl stop firewalld.service
centOS7永久关闭防火墙命令不生效,所以在/etc/selinux/config下修改,把SELINUX=enforcing改为SELINUX=disabled重启后生效
1.3 准备hadoop的binary,最近官网被墙,需要搭梯子,放在/opt/hadoop文件夹下(新建一个)
1.4 关机后克隆虚拟机节省操作时间,但hostname会被克隆,使用命令hostname ${你的hostname}更改
注意:centOS7的话在/etc/hostname中 更改 - 配置SSH
2.1 修改/etc/hosts,在原有内容下添加:
192.168.119.131 hserver1
$ip 和你的 $hostname
2.2 为所有节点生成空字符串的秘钥ssh-keygen -t rsa -P ''
2.3 在所有节点上都生成一个名为‘authorized_keys’的文件,命令:touch /root/.ssh/authorized_keys
2.4 将所有节点的/root/.ssh/id_rsa.pub内容粘贴到authorized_keys中
2.5此时已完成ssh配置,可以通过ssh命令从任意一个节点访问另外的节点 - 安装hadoop,注意,以下配置是所有节点都需要执行,不然无法打开overview页面
3.1 解压:1.cd /opt/hadoop
2.tar -xvf hadoop-2.8.5.tar.gz
3.2新建目录:mkdir /root/hadoop mkdir /root/hadoop/tmpmkdir /root/hadoop/varmkdir /root/hadoop/dfs mkdir /root/hadoop/dfs/namemkdir /root/hadoop/dfs/date
3.3按https://blog.csdn.net/pucao_cug/article/details/71698903 开始配置
3.4 一些参数可参见:
https://blog.csdn.net/yangjl38/article/details/7583374 hadoop三个配置文件的参数含义说明
https://www.cnblogs.com/yinchengzhe/p/5142659.html Hadoop yarn配置参数 - 初始化hadoop
4.1 cd /opt/hadoop/hadoop-2.8.5/bin
./hadoop namenode -format
格式化成功后,会新建/root/hadoop/dfs/name/current,current下有一系列文件
若修改配置,则再次格式化即可
4.2cd /opt/hadoop/hadoop-2.8.5/sbin
./start-all.sh
第一次执行的话会有两次问答,按提示进行即可 - overview页面 http://namenode-ip:50070/
hadoop 页面 http://namenode-ip:8088/
搭建完成