CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）

准备

1. VMware 版本：14.1.3 build-9474260
2. CentOS7:CentOS-7-x86_64-DVD-2009.iso
3. JDK:jdk-8u231-linux-x64.tar.gz
4. Hadoop:hadoop-2.6.0.tar.gz

VMware虚拟机安装CentOs 7.4

虚拟机创建

5. 打开VMware界面如下：

   

6. 点击屏幕中创建新的虚拟机按钮
   

7. 选择“典型”按下一步
   

8. 下一步，客户机操作系统选择Linux，版本选择CentOS7.4 64位
   

9. 下一步，自己给虚拟机起个名字，选择虚拟机的存放位置
   

10. 下一步，指定磁盘大小，官方建议20G，我这里不做改动，大家自行决定大小，选择将虚拟磁盘拆分成多个文件
    

11. 下一步，点自定义硬件
    
    可将声卡移除也可保留，自己选择
    
    自行指定内存和处理器。
    点击网络适配器，右侧网络连接选自定义，下拉菜单选VMnet8（NAT模式）
    
    最后关闭

12. 点击完成创建虚拟机，创建好后如下
    
    点击编辑此虚拟机配置，进行如图操作，将下载好的iso文件导入
    

CentOS 7.4安装

1. 开启虚拟机，出现如下画面，选择第一个按回车
   
2. 等待一会，进入如下画面，左侧下拉选择中文，点击继续
   
3. 进入如下画面
   
   点击安装位置，可不改动，点击完成即可
   
   点击软件选择，进入如下画面，选带GUI的服务器选项，不需要桌面的可不进行这一步，有其他需求的请自行选择，选完点击完成
   
   点击网络和主机名，进入如下界面，将网络连接按钮打开，修改主机名并应用（可选）点击完成
   
4. 点击开始安装，设置root用户密码，创建普通用户
   
   设置root用户密码，可不遵循密码规则，点击两次完成即可
   
   创建用户亦可不遵循密码规则，点击两次完成即可
   
5. 安装完后点击重启
   
   6.点击第一个，同意许可，并完成配置
   

网络配置

1. 控制面板\网络和 Internet\网络连接 右击VMnet8 点击属性
   
2. 双击IPV4
   
   
   选择使用下面IP地址选项
   在VMware点编辑下的虚拟网络编辑器，再点右下角的更改设置
   
   选择NAT模式，点击NAT设置
   
   将网关和子网掩码填入IPV4属性中
   

如下图DNS与网关相同IP地址前三个与网关相同最后一个在DHCP设置中起始与结束IP范围内
如图我这里的范围是128-254，则我设置IP为192.168.40.130

3. root 登录，修改/etc/sysconfig/network-scripts/ifcfg-ens33有的可能不是这个文件，可能是其他名字

vim /etc/sysconfig/network-scripts/ifcfg-ens33

打开文件，如图所示

将BOOTPROTO="dhcp"改为BOOTPROTO="static"
在文件末尾添加

IPADDR=192.168.40.128   # 设置IP
NETMASK=255.255.255.0   #  子网掩码
GATEWAY=192.168.40.2 # 设置网关
DNS1=192.168.40.2  #和网关保持一致就行

修改完，如下

4. 重启服务service network restart，出现如图所示表示成功

5. ping 百度、主机，再从主机ping虚拟机看是否能ping通，ping通了则说明配置成功，反之则失败，至于为什么失败了，请自行百度。

JDK配置

1. 从主机复制jdk-8u231-linux-x64.tar.gz到虚拟机内，我直接复制到了主目录
2. 在 usr 目录下创建文件夹java mkdir /usr/java非root用户前面加sudo sudo mkdir /usr/java
3. 将 jdk-8u231-linux-x64.tar.gz解压到java目录下 tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/java/
4. 配置环境变量 vim /etc/profile 在末尾添加如下代码

export JAVA_HOME=/usr/java/jdk1.8.0_231 #jdk解压后目录
export JRE_HOME=/usr/java/jdk1.8.0_231/jre #jdk目录下的jre目录
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

5. 输入source /etc/profile使配置文件重新生效
6. 配置环境变量 vim ~/.bashrc 在末尾添加如下代码

export JAVA_HOME=/usr/java/jdk1.8.0_231 #jdk解压后目录
export JRE_HOME=/usr/java/jdk1.8.0_231/jre #jdk目录下的jre目录
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

7. 输入source ~/.bashrc使配置文件重新生效
8. 输入 java -version 出现如下画面则说明jdk配置成功
   

Hadoop伪分布式安装配置

安装Hadoop

1. 将hadoop安装包复制进虚拟机，并解压到/usr/local/目录下 tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/
2. 为方便后续操作将目录改名为hadoop mv hadoop-2.6.0/ hadoop
3. 普通用户则需更改目录权限 sudo chown -R hadoop ./hadoop
4. 配置环境变量 vim /etc/profile 在末尾添加如下代码

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

5. 输入source /etc/profile使配置文件重新生效
6. 输入 hadoop 出现如下图，则说明配置成功
   

core-site.xml

1. vim /usr/local/hadoop/etc/hadoop/core-site.xml 打开core-site.xml 文件
   如图所示
   
   在configuration标签中插入如下代码

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/usr/local/hadoop/tmp</value>
		<description>Abase for other temporary directories.</description>
	</property>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

1.hadoop.tmp.dir：设置临时目录，若不设置，hadoop退出就会清空默认的临时目录，下次启动就需要重新初始化。该临时目录自定义，事先可以不存在
2. fs.defaultFS：hdfs路径的逻辑名称。在访问hdfs时需要使用。注意此处用的时localhost，即只能通过本机访问，若要实现远程访问，需要把localhost置为IP。例如:hdfs://192.168.0.105:9000

hdfs-site.xml

1. vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml 在configuration标签中插入如下代码

<configuration>
	<property>
		<name>dfs.replication</name> 
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name> 
		<value>file:/usr/local/hadoop/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name> 
		<value>file:/usr/local/hadoop/tmp/dfs/data</value>
	</property>
</configuration>

2. dfs.replication 表示副本数量，伪分布式设置为1
3. dfs.namenode.name.dir 本地磁盘目录，是存储fsimage文件的地方
4. dfs.datanode.data.dir 是一个本地磁盘目录，HDFS数据存放block的地方

格式化namenode并启动hadoop

1. 输入 ./bin/hdfs namenode -format 格式化namenode,除非出错，否则不要重新格式化
2. 启动hadoop集群，输入 start-all.sh
3. 输入jps出现下图6个进程说明hadoop伪分布式配置成功
   
4. 输入 hdfs dfs -mkdir -p /user/hadoop 创建hdfs用户目录

*转载请注明出处，文中有不正确处欢迎评论中指出 *