搭建Hadoop集群

本文介绍如何在VMware虚拟机下使用Ubuntu18.04系统搭建Hadoop集群，搭建伪分布式和全分布式两种。

软件版本如下：

• Ubuntu-18.04.2-desktop-amd64
• Hadoop
• openjdk

pre1. 参考官方文档确定Hadoop和jdk的安装版本。

pre2. 创建用户名为Hadoop的用户，密码为hadoop（不强制），但是在搭建集群时不要使用root用户。

搭建Hadoop和Java环境

sudo -i # 以root身份安装

cd /home/hadoop
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar -zxf hadoop-3.2.1.tar.gz
mv ./hadoop-3.2.1 hadoop
mv ./hadoop /usr/local/
cd /usr/local
chown -R hadoop:hadoop ./hadoop # 更新文件夹所有者
cd hadoop/
apt-get install -y openjdk-8-jdk openjdk-8-jre # 如果此处报错先执行 apt-get update

配置环境变量。

cd /usr/local/hadoop/etc/hadoop
vi hadoop-env.sh

在结尾处添加如下内容。

JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/

继续配置环境变量。

vi /etc/bash.bashrc

在结尾处添加如下内容。

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

保存退出，执行如下代码，使环境变量生效。

source /etc/bash.bashrc

完成后开启新终端，执行hadoop version，显示如下代码即为成功。

Hadoop 3.2.1 Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842 Compiled by rohithsharmaks on 2019-09-10T15:56Z Compiled with protoc 2.5.0 From source with checksum 776eaf9eee9c0ffc370bcbc1888737 This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.2.1.jar

以单机模式运行

（在新终端下运行）

cd /usr/local/hadoop
mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapred