Hadoop伪分布式集群搭建

Hadoop版本及虚拟机
在这里我使用的Hadoop版本是2.9.2，jdk版本是1.8
Hadoop2.9.2 http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
jdk1.8 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
虚拟机使用的是Linux Centos 7 https://www.centos.org/download/
此处略过虚拟机的安装过程，安装时选择最小化安装即可，虚拟机内存1G就够了
这里我给自己的虚拟机分配的内存是4G。

在网络适配器部分，搭建集群时的IP都是需要自己配置的，因此这里也同样的自己配置，使用静态IP，所以网络适配器选择自定义中的NAT，到对应的虚拟网卡也就是上图中的VMnet8中查看对应的IP地址作为虚拟机的网关。

• 虚拟机配置
  1、网络配置：最小化安装的CentOS系统默认状态下是网卡是不启用的，需要在对应的配置文件中更改配置

 vim /etc/sysconfig/network-scripts/ifcfg-ens33

*修改BOOTPROTO字段为static
添加如下字段，其中IP地址需要保证和自己的网关地址在同一网段
IPADDR=192.168.203.11
NTSMASK=255.255.255.0
GATEWAY=192.168.203.2
DNS1=192.168.203.2

重启使得配置生效。
2、jdk 与Hadoop文件上传，这里我是用的是Xshell连接虚拟机上传的，需要在虚拟机上安装 lrzsz 才能使用xshell提供的文件传输。在虚拟机主目录下建一个目录用来存放最终的Hadoop文件以及jdk，也可以分开装。
3、环境变量配置：
在/etc/profile下配置java环境变量以及Hadoop环境变量：

export JAVA_HOME=/Hadoop/jdk
export HADOOP_HOME=/Hadoop/hadoop
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出后重启或者source /etc/profile 使得配置生效。
验证配置是否生效：

[root@hdp-01 Hadoop]# java -version
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) Server VM (build 25.191-b12, mixed mode)
[root@hdp-01 Hadoop]# hadoop version
Hadoop 2.9.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985
This command was run using /Hadoop/hadoop/share/hadoop/common/hadoop-common-2.9.2.jar
[root@hdp-01 Hadoop]# 

4、Hadoop 配置基本的hadoop需要配置的文件包括hadoop-env.s h,core-site.xml,hdfs-site.xml,mapred-env.s h,mapred-site.xml,yarn-site.xml,slaves,在配置前可在/etc/hosts 指定本机别名
[root@hdp-01 hadoop]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.203.11 hdp-01

• hadoop-env.sh 的配置主要是指明jdk所在位置

export JAVA_HOME=/Hadoop/jdk

• core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<!--指定默认的文件系统为HDFS，运行在本机也就是hdp-01:9000 -->
<value>hdfs://hdp-01:9000</value>
</pro