Hadoop完全分布式搭建 基于CentOS

此教程在本地虚拟机环境搭建，需先安装好 VMware workstation 虚拟机环境

准备工作：

• VMware workstation 12pro 破解版
• CentOS 7
• hadoop-2.9.1.tar
• jdk-8u201-linux-x64.tar

资源地址：
VMware 软件下载地址（直接输入激活码即可激活 亲测可用）：
链接: https://pan.baidu.com/s/1SlLx5n7rGZBC0zLQ7hpnNQ
提取码: 5zzj
CentOS 的镜像文件（4.03G），百度云下载地址（也可从官网下载）：
链接: https://pan.baidu.com/s/1lhwqLNswtWLtx9XB9bIP1g
提取码: cirs

一、安装 VMware 虚拟机软件，安装激活成功后的界面：

二、虚拟机上安装 Linux 环境，这里使用 CentOS 7 镜像

1. 创建虚拟机
   
2. 选择自定义
   
3. 下一步
   
4. 选择稍后安装操作系统
   
5. 选择对应版本
   
6. 选择安装路径
   
7. 分配处理器、内存空间
   
   
8. 网络配置
   
9. 默认
   
   
   
10. 分配磁盘空间
    
    
11. 稍后点完成，选择自定义硬件
    
    
12. 点击完成
    
13. 开启虚拟机
    
14. 之后根据提示安装系统

三、网络配置

[root@slave1 Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 
[root@slave1 Desktop]# vi /etc/resolv.conf 
[root@slave1 Desktop]# service network restart
Restarting network (via systemctl):                        [  OK  ]
[root@slave1 Desktop]# 

1. 修改网卡配置
   vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
   
2. 修改默认网关
   vi /etc/resolv.conf
   
3. 重启网卡
   service network restart

四、Hadoop 环境搭建

1. 使用超级 root 账户登录 Linux，打开命令行工具，在 /opt 目录下新建两个文件夹，用来存放 tar 包和解压文件
   $ cd /opt
$ mkdir module software
2. 使用 wget 命令下载 Hadoop 2.9.1 的 jar 包

• 安装 wget ：$ yum -y install wget
• 进入下载目录：$ cd /opt/software/
• 执行下载命令：$ wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz
  等待下载…

3. 下载成功
   
4. 解压到 module 文件夹
   $ tar -zxvf hadoop-2.9.1.tar.gz -C /opt/module/
$ cd /opt/module/

• 解压成功：
  

五、Hadoop 配置

1. 进入配置文件目录
   $ cd /opt/module/hadoop-2.9.1/etc/hadoop/
   新建文件夹用于存放日志和临时文件 $ mkdir logs tmp
2. 添加 java 环境变量，由于 CentOS 7 自带 java 环境，无需再安装

• 查看 java 安装路径：$ which java $ whereis java
  

• 修改 hadoop-env.sh 文件 $ vi hadoop-env.sh ，添加一行

export JAVA_HOME=/usr

3. 配置 core-site.xml 文件，$ vi core-site.xml ，配置如下：

<configuration>
　　<property>
　　　　<name>fs.defaultFS</name>
　　　　<value>hdfs://master:9000</value>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>file:/opt/module/hadoop-2.9.1/tmp</value>
　　</property>
</configuration>

4. 配置 hdfs-site.xml 文件，$ vi hdfs-site.xml，配置如下：

<configuration>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>2</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.name.dir</name>
　　　　<value>file:/opt/module/hadoop-2.9.1/tmp/dfs/name</value>
　　</property>
　　<property>
　　　　<name>dfs.datanode.data.dir</name>
　　　　<value>file:/opt/module/hadoop-2.9.1/tmp/dfs/data</value>
　　</property>
</configuration>

六、初始化 Hadoop

1. 查看主机 IP $ ifconfig
   
2. 增加主机名和地址映射 $ vi /etc/hosts
   
3. 如果主机名不是 master 应更改

• 查看主机名：$ hostname
• 更改主机名：$ hostnamectl set-hostname master

4. 关闭防火墙

• 关闭防火墙 systemctl stop firewalld
• 禁用防火墙 systemctl disable firewalld
• 查看防火墙 systemctl status firewalld
  
• 禁用高级防火墙 $ vi /etc/selinux/config
  

5. 初始化

• 进入Hadoop根目录：$ cd /opt/module/hadoop-2.9.1/
• 初始化配置：$ bin/hdfs namenode -format

6. 配置 Hadoop 环境变量
   vi /etc/profile
   修改（添加）：

   export HADOOP_HOME=/opt/module/hadoop-2.9.1
   export PATH=$HADOOP_HOME/bin:$PATH
   

   初始化：
   . /etc/profile
   测试：
   hadoop version
   
   配置成功！