基于VMware12虚拟机的Hadoop3.1.2伪分布式安装（含各软件百度云下载地址、安装过程中各类问题的解决方案）

一、软件环境配置

1. 物理机版本：Win10
2. 虚拟机版本：VMware 12
链接：https://pan.baidu.com/s/1j6dGmDL_jPJhWl4opVPMMQ
提取码：v315
3. Linux系统：CentOS 7.6 （64）
参考文献：

• CentOS与Ubuntu的区别
• CentOS安装

4. java JDK：jdk-8u221-linux-x64.tar
链接：https://pan.baidu.com/s/1i_tnq2urzvPB8kBE4ff_hA
提取码：5vib
（1）解压tar -zxvf jdk-7u80-linux-x64.tar.gz -C App
（2）配置全局环境变量，打开sudo vi /etc/profile，文末添加：

export JAVA_HOME=/home/sdp/App/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin

（3）jdk立刻生效source /etc/profile

5. Hadoop版本:hadoop-3.1.2
链接：https://pan.baidu.com/s/15UjDsrDoWNWOc90CYG929w
提取码：ucc5
（1）解压tar -zxvf hadoop-3.1.2.tar.gz -C App/
（2）Hadoop相关文件配置

• 修改/hadoop-3.1.2/etc/hadoop/hadoop-env.sh，文末添加

export JAVA_HOME=/home/sdp/App/jdk1.7.0_80

• 修改/hadoop-3.1.2/etc/hadoop/core-site.xml，添加

<!-- 指定Hadoop所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://Hadoop200:9000/</value>
</property>

<!-- 指定Hadoo运行时产生文件的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/sdp/App/hadoop-3.1.2/data/</value>
</property>

• 修改/hadoop-3.1.2/etc/hadoop/hdfs-site.xml，添加

<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

• 修改/hadoop-3.1.2/etc/hadoop/mapred-site.xml，添加

<!-- 指定mapreduce程序在yarn集群上运行 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

• 修改/hadoop-3.1.2/etc/hadoop/yarn-site.xml，添加

<!-- 指定Yarn的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Hadoop200</value>
</property>

<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

（3）关闭防火墙systemctl stop firewalld.service
参考文献：

• centOS 7.3 防火墙使用iptables

（4） 将Hadoop执行命令添加到全局环境变量中去

• 打开etc/profile，添加

export HADOOP_HOME=/home/sdp/App/hadoop-3.1.2

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

保存退出，使用source /etc/profile立刻生效

二、VMware虚拟机网路初始化配置

（1）右键HadoopMaster，选择“设置”

（2）选择“自定义：特定虚拟网络”中的“VMnet8（NAT 模式）”，点击确定。

（3）VMware虚拟网关设置或查询

（4）可以通过“NAT设置”子网掩码，现在选择默认的“192.168.44.0”

参考文献：

• Vmware虚拟机三种网络模式详解

三、Linux基本操作

1. 让普通用户具备root访问权限

（1） 切换到root用户（su）,打开sudoers文件（vi /etc/sudoers），加入sdp ALL=(ALL) ALL

2. 无法上网，即虚拟机IP地址没有配置
（1）通过ip addr查看当前系统所使用的网卡

（2）当前系统使用ens33网卡，但是并没有IP地址，打开对应的配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33，发现为null，此时需要手动设置ens33网卡的IP地址。

可以通过nmcli con show和ip addr命令查看HWADDR（MAC地址）和UUID值。具体请查看参考文献。
（3）reboot和service network restart使上述配置生效
参考文献：

• 解决CentOS添加新网卡后找不到网卡配置文件

3. ifconfig不生效的问题

参考文献：

• centos7中没有安装ifconfig命令的解决方法
• 【linux】CentOS 7 安装报错：Cannot find a valid baseurl for repo: base/7/x86_6

4. 修改主机名（将localhost修改为Hadoop100）
（1）修改/etc/sysconfig/network配置文件
（2）添加HOSTNAME = Hadoop100
（3）使用sudo hostname Hadoop100命令立即生效
（3）退出exit，重新登录，即可看到已主机名已改变

5. 通过主机名访问机器
（1）修改hosts文件，sudo vi /etc/hosts中的内容为

（2）添加192.168.44.100 Hadoop100
（3）保存退出，即可访问

四、Hadoop执行

1. 初始化运行hdfs namenode -format

• hadoop3.1.2初始化命令变为hdfs namenode -format，而不是hadoop namenode -format
• hadoop3.1.2对应jdk的版本应该是8，而不是jdk7，如上图使用jdk7出现版本不一致的问题，换成jdk8问题解决。
  

2. 启动（启动信息在 hadoop/sbin下）

• 配置启动命令所需的全局环境变量

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 立即生效`source /etc/profile
• 启动hdfs\yarn

hdfs --daemon start namenode

hdfs --daemon start datanode

yarn --daemon start resourcemanager

yarn --daemon start nodemanager

yarn --daemon start timelineserver

3. 验证

• 在宿主机的浏览器中访问hadoop的hdfs,如访问成功，则说明伪分布式环境已搭建成功：

Hadoop2.X的版本中，访问hdfs的端口号是50070；
Hadoop3.X的版本中，访问hdfs的端口号由50070修改成了9870；

http://192.168.44.200:9870/

• Yarn资源调度系统：
  http://192.168.44.200:8088
  
  如对各位看官有用，请点赞和关注。可提供远程帮助，共同进步

参考文献：

• 搭建hadoop3.1.2伪分布式环境详细讲解（优质防坑资料）
• Hadoop3.1.0 伪分布式环境安装部署