Hadoop3.2.1版本的环境搭建

最近有人提出能不能发一些大数据相关的知识，No problem ！ 今天先从安装环境说起，搭建起自己的学习环境。

Hadoop的三种搭建方式以及使用环境：

• 单机版适合开发调试；
• 伪分布式适合模拟集群学习；
• 完全分布式适用生产环境。

这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，两个数据节点。

先决条件

1. 准备3台服务器

虚拟机、物理机、云上实例均可，本篇使用Openstack私有云里面的3个实例进行安装部署。

2. 操作系统及软件版本

服务器	系统	内存	IP	规划	JDK	HADOOP
node1	Ubuntu 18.04.2 LTS	8G	10.101.18.21	master	JDK 1.8.0_222	hadoop-3.2.1
node2	Ubuntu 18.04.2 LTS	8G	10.101.18.8	slave1	JDK 1.8.0_222	hadoop-3.2.1
node3	Ubuntu 18.04.2 LTS	8G	10.101.18.24	slave2	JDK 1.8.0_222	hadoop-3.2.1

3. 三台机器安装JDK

因为Hadoop是用Java语言编写的，所以计算机上需要安装Java环境，我在这使用JDK 1.8.0_222(推荐使用Sun JDK)

安装命令

sudo apt install openjdk-8-jdk-headless

配置JAVA环境变量，在当前用户根目录下的.profile文件最下面加入以下内容：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使用source命令让立即生效

source .profile

4. host配置

修改三台服务器的hosts文件

vim /etc/hosts

#添加下面内容，根据个人服务器IP配置

10.101.18.21 master
10.101.18.8 slave1
10.101.18.24 slave2

免密登陆配置

1. 生产秘钥

ssh-keygen -t rsa

2. master免密登录到slave中

ssh-copy-id -i ~/.ssh/id_rsa.pub master
ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub slave2

3. 测试免密登陆

ssh master 
ssh slave1
ssh slave2

Hadoop搭建

我们先在Master节点下载Hadoop包，然后修改配置，随后复制到其他Slave节点稍作修改就可以了。

1. 下载安装包，创建Hadoop目录

#下载  
wget http://http://apache.claz.org/hadoop/common/hadoop-3.2.1//hadoop-3.2.1.tar.gz
#解压到 /usr/local 目录
sudo tar -xzvf  hadoop-3.2.1.tar.gz    -C /usr/local 
#修改hadoop的文件权限
sudo chown -R ubuntu:ubuntu hadoop-3.2.1.tar.gz
#重命名文件夹   
sudo mv  hadoop-3.2.1  hadoop

2. 配置Master节点的Hadoop环境变量

和配置JDK环境变量一样，编辑用户目录下的.profile文件, 添加Hadoop环境变量：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin 
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

执行 source .profile 让立即生效

3. 配置Master节点

Hadoop 的各个组件均用XML文件进行配置, 配置文件都放在 /usr/local/hadoop/etc/hadoop 目录中：

• core-site.xml：配置通用属性，例如HDFS和MapReduce常用的I/O设置等
• hdfs-site.xml：Hadoop守护进程配置，包括namenode、辅助namenode和datanode等
• mapred-site.xml：MapReduce守护进程配置
• yarn-site.xml：资源调度相关配置

a. 编辑core-site.xml文件，修改内容如下：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

参数说明：

• fs.defaultFS：默认文件系统，HDFS的客户端访问HDFS需要此参数
• hadoop.tmp.dir：指定Hadoop数据存储的临时目录，其它目录会基于此路径, 建议设置到一个足够空间的地方，而不是默认的/tmp下