由于机器原因,只拿到了三台机器,所以就先搭3台机器,一条机器做Namenode,另外2台做DataNode。
Hadoop中的管理节点和数据节点最好分开部署
数据节点在实际运行任务时负载是比较重的,很容易影响管理示例的稳定性
下面是搭建步骤:
1 修改/etc/hosts文件
这里说明下有的是把自己的hostname做了修改,改成啥master ,salver 1,salver2这样或者namenode,datanode1,datanode2这样的形式,但是博主因为不能修改hostname,所以直接采用的机器本身的hostname,这里只要把ip和hostname的映射关系做好,都是没有问题的。所以不必太过纠结这一个问题。
三台机器的配置都是一样配置的,大致就如下配置,按实际情况配:后面我就以这三个名字进行举例
192.168.9.1 namenode 192.168.9.2 datanode1 192.168.9.3 datanode2
2 三台机器都修改完后就检查下三台机之间是否都可以Ping 通 进行互联,这里命令如下
ping -c 3 datanode1
三台机器上面都要进行这样的测试,每一台都测试与另外几台机器之间是否能通
3 免密登录,因为在后续Hadoop启动的时候会登录另外的集群,所以这里会做下三台机器之间的免密登录
首先分别在三台机器上生成公钥
ssh-keygen -t rsa -P ''
4 分别在三台机器上创建authorized_keys文件
touch /root/.ssh/authorized_keys
5. 检查authorized_keys文件是否生成成功
ls /root/.ssh/
6 将 三台机器id_rsa.pub中的key复制,然后三个key 都放到authorized_keys中,然后三台机器的authorized_keys文件中的内容保持一致
大致效果如上
7 检查是否能够免密登陆
ssh datanode1
分别在三台机器上进行测试互联
8 JDK环境检查
分别检查三台机器上的JDK环境,我这里用的JDK 版本为 jdk1.8.0_65
如果JDK需要升级大致步骤如下:
下载JDK安装包
在/opt/java 创建java目录
然后将安装包放到该目录下,进行解压缩
mkdir /opt/java
tar -zxvf jdk-8u65-linux-x64.tar.gz
修改配置文件
vim /etc/profile
在该文件内添加如下命令: