部署hadoop的伪分布

安装部署 hadoop 伪分布。

1. hadoop下载地址：下载官网
2. jdk安装参考:jdk安装
3. 创建一个software的文件夹

1. 在software目录下创建jdk8和hadoop3两个文件夹

1. 上传hadoop的tar包到hadoop3的目录下，用finalshell直接将文件拖到该目录下

4.解压hadoop的安装包

5.在hadoop的安装包相同路径下创建一个hadooptmp的文件夹，等会会用到

6.进入如图所示的etc/hadoop目录下配置文件：

7.需要配置的文件有：

hadoop-env.sh ，core-site.xml ，hdfs-site.xml ，mapred-site.xml ，yarn-site.xml

1. hadoop-env.sh 文件内容，添加如下内容：自己jdk的安装路径

export JAVA_HOME=/home/hadoop/software/jdk8/jdk1.8.0_171

2. core-site.xml 文件内容，添加如下内容：

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadooptest:9000</value>  //此处的hadooptest为自己的主机名

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/software/hadoop3/hadooptmp</value>  //此处为hadooptmp的路径

</property></configuration>

3. hdfs-site.xml 文件内容，添加如下内容：

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

4. mapred-site.xml 内容

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

5. yarn-site.xml 文件内容

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>

</property>

</configuration>

11.进入：vim workers ，将localhost注释掉，改为自己的主机名，若为localhost则不用改

12 格式化 HDFS

hadoop namenode -format

13 配置 Hadoop 环境变量，路径为自己的安装路径

14 启动 Hadoop 伪分布式集群

15查看进程，若出现如下进程说明hadoop启动成功。

16 验证 Hadoop 伪分布式集群，输入自己的ip：9870，或ip:8088,若出现如下所示，则启动成功。