Hadoop伪分布环境搭建（超详细）

1 实验环境

1. Oracle Linux 7.4
2. JDK 1.8
3. Hadoop 2.7.4

2 实验步骤

2.1 实验准备

1.单击机器桌面中的konsole图标

2.2 配置SSH免密登录

1.机器中创建ssh秘钥，输入如下命令，红框位置直接回车即
[Command 001]：

ssh-keygen -t rsa

2.将公钥拷贝到本机实现免密登录，第一个红框位置输入yes，第二个红输位置输入root
[Command 002]：

ssh-copy-id master

3.验证由机器通过ssh方式免密登录到本机（master）
[Command 003]：

ssh master

4.退出主节点（master）
[Command 004]：

exit

2.3 Hadoop安装与配置

1.解压hadoop压缩文件至/opt目录下
[Command 005]：

tar -zxvf  ~/experiment/file/hadoop-2.7.4.tar.gz  -C  /opt

2.修改解压后为文件名为hadoop
[Command 006]：

mv /opt/hadoop-2.7.4 /opt/hadoop

3.修改环境变量
[Command 007]：

vim /etc/profile

4.按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码
[Code 001]：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5.按键Esc，按键:wq保存退出
6.刷新配置文件
[Command 008]：

source /etc/profile

7.编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件，部分截图如下
[Command 009]：

vim /opt/hadoop/etc/hadoop/hadoop-env.sh

8.按键:set nu回车设置行号，部分截图如下

9.按键25gg定位到25行，部分截图如下

10.按键dd删除此行，部分截图如下

11.按键 i 添加如下代码
[Code 002]：

export JAVA_HOME=/usr/lib/java-1.8

12.按键Esc，按键:wq保存退出

2.4 配置hadoop的多个配置文件

13.编辑/opt/hadoop/etc/hadoop/core-site.xml文件，部分截图如下
[Command 010]：

vi /opt/hadoop/etc/hadoop/core-site.xml

14.按键:set nu回车设置行号，部分截图如下

15.按键19gg定位到19行，按键o添加如下代码，部分截图如下
[Code 003]：

<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>

16.按键Esc,按键:wq保存退出
17.编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件,部分截图如下
[Command 011]：

vi /opt/hadoop/etc/hadoop/hdfs-site.xml

18.按键:set nu回车，设置行号

19.按键20gg定位到20行，按键i添加如下代码
[Code 004]：

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

20.按键Esc,按键:wq保存退出
21.复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml
[Command 012]：

cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml

22.编辑/opt/hadoop/etc/hadoop/mapred-site.xml文件,部分截图如下
[Command 013]：

vi /opt/hadoop/etc/hadoop/mapred-site.xml

23.按键:set nu回车，设置行号

24.按键20gg定位到20行,按键i添加如下代码
[Code 005]：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

25.按键Esc,按键:wq保存退出
26.编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件,部分截图如下
[Command 014]：

vi /opt/hadoop/etc/hadoop/yarn-site.xml

27.按键:set nu回车，设置行号

28.按键18gg定位到18行,按键i添加如下代码，部分截图如下
[Code 006]：

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

29.按键Esc,按键:wq保存退出
30.编辑/opt/hadoop/etc/hadoop/slaves文件
[Command 015]：

vim /opt/hadoop/etc/hadoop/slaves

31.按键dd删除首行，按键i添加如下内容
[Code 007]：

master

32.按键Esc,按键:wq保存退出

2.5 格式化HDFS

33.切换到机器上，命令行中执行如下指令，格式化hdfs，部分截图如下
[Command 016]：

hdfs namenode -format

2.6 启动集群

34.机器命令行中执行如下指令,启动集群，启动过程中出现“are you sure you want to continue connecting”，输入yes。
[Command 017]：

start-all.sh

35.机器命令行中执行如下指令,查看进程
[Command 018]：

jps

36.所有配置完成，进程启动完毕