1)准备Hadoop服务器
NewBieMaster
NewBieSlave1
NewBieSlave2
2)设置这3台服务器之间的免密码登录。
3)为这3台服务器安装JDK并且设置JAVA_HOME,JAVA_HOME的路径最好相同。
4)从官网下载Hadoop安装包,然后解压缩至 /home/user/hadoop-3.2.2
5)在Master,Slave1和Slave2上 为Hadoop配置系统环境变量。
6)在Master上 配置hadoop-env.sh文件
7)在Master上 创建 namenode,datanode和tmp目录
8)在Master上配置hdfs-site.xml文件,设置 name node的监听地址和端口,namenode和datanode目录
9)在Master上修改core-site.xml文件,设置namenode对datanode的监听地址和端口,以及tmp文件的目录。
10)在Master上修改mapred-site.xml文件。
11)在Master上配置yarn-site.xml文件。
12)在Master上修改slaves workers文件,同时移除/home/user/hadoop-3.2.2/share/doc文件
13)将配置好的Hadoop目录 /home/user/hadoop-3.2.2 同步到Slave1上和Slave2上。
scp -r /home/user/hadoop-3.2.2 user@192.168.1.88:/home/user/hadoop-3.2.2
scp -r /home/user/hadoop-3.2.2 user@192.168.1.99:/home/user/hadoop-3.2.2
14)在3个服务器上格式化dfs的namenode。
15)启动集群, 测试Sample MapReduce。