Linux下实现Hadoop集群的搭建

注：若不使用 MobaXterm 可忽略步骤1~3.

1.安装linux虚拟机环境（以ubuntu-16.04.7-server-amd64为例）

安装过程中记得勾选 "openssh-server" 插件，这样才能使用远程工具MobaXterm来操作虚拟机，使整个配置过程更高效。（若忘记可通过命令：sudo apt-get install openssh-server安装。）

2.建立MobaXterm连接

2.1 运行MobaXterm软件，依次执行如图所示操作：

2.2 连接建立成功后如下如所示：此时可在该窗口完成环境配置。(也可不用该软件直接在linux下配置，只是效率不高而已)

3.IP地址改静态(不该每次IP会变，都需要重新进行连接配置，很麻烦)

3.1 执行命令：sudo vim /etc/network/interfaces

3.2 在打开的文件中添加如下内容：

3.3 执行命令：sudo reboot（重启生效）

4.安装jdk

4.1 执行命令： tar -zxvf jdk-8u281-linux-x64.tar.gz（解压操作）

4.2 执行命令：vi .bashrc（添加环境变量）

4.3 执行命令：source .bashrc（使其生效）

4.3 执行命令：java -version（显示 java 版本代表 jdk 安装成功）

5.安装Hadoop

5.1 执行命令：tar -zxvf hadoop-2.7.7.tar.gz（解压操作，hadoop版本为2.7.7）

5.2 执行命令：mv hadoop-2.7.7 hadoop（重命名文件）

5.3 在hadoop目录下执行命令：vi etc/hadoop/hadoop-env.sh（配置jdk路径）

6.配置hdfs

6.1 在hadoop目录下执行命令：vi etc/hadoop/core-site.xml，添加如下配置

6.2 在hadoop目录下执行命令：vi etc/hadoop/hdfs-site.xml，添加如下配置

6.3 执行命令：sudo vi /etc/hosts，设置IP映射(s1为namenode,s2、s3为datanode)

6.4 在hadoop目录下执行命令：vi etc/hadoop/slaves

7.配置yarn

7.1 在hadoop目录下执行命令：vi etc/hadoop/mapred-site.xml，添加如下配置

7.2 在hadoop目录下执行命令：vi etc/hadoop/yarn-site.xml，添加如下配置

8.将s1配好的分发至s2和s3

8.1 在hadoop目录下执行命令：bin/hdfs namenode -format（格式化文件系统）

8.2 通过复制命令完成将s1中配置好的hadoop、jdk、slaves等文件分发到s2、s3

以分发hadoop为例：

        执行命令：scp -r hadoop 用户名@s2:/home/用户名/目标地址(将hadoop分发至s2)

9.启动、访问和关闭DFS和YARN

9.1 在hadoop目录下执行命令：sbin/start-dfs.sh（启动hdfs）

9.2 在hadoop目录下执行命令：sbin/start-yarn.sh（启动yarn）

9.3 在hadoop目录下执行命令：jps （查看是否启动成功）

9.4 在浏览器内输入：192.168.218.131:50070和192.168.218.132:8088可分别查看HDFS和YARN.

(IP地址按自己的设备为准)

9.5 在hadoop目录下执行命令：sbin/stop-dfs.sh（关闭hdfs）

9.6 在hadoop目录下执行命令：sbin/stop-yarn.sh（关闭yarn）