搭建 Hadoop 开发环境

1. Centos7 操作系统

1.1. 创建用户及权限

添加用户名：adduser hadoop
添加密码：passwd hadoop
赋予管理员权限：usermod -aG wheel hadoop
切换用户：su - hadoop

确认成功：sudo ls –la /root

1.2. ssh 免密登陆

集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台

Linux 主机，并且在上面运行命令），一般情况下，CentOS 默认已安装了 SSH

client、SSH server，如需要安装：

1. sudo yum install openssh-clients

2. sudo yum install openssh-server

生成密钥对，将公钥拷贝至 authorized_keys 文件 ssh-keygen cd ~/.ssh/ # 若没有该目录，请先执行一次 ssh localhost ssh-keygen -t rsa # 会有提示，都按回车就可以 cat id_rsa.pub >> authorized_keys # 加入授权 chmod 600 ./authorized_keys # 修改文件权限

此时再用

ssh localhost

命令，无需输入密码就可以直接登陆了，如下图所示。 1. 安装 JDK

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

接着需要配置一下 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设

置

vim ~/.bashrc

在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64

CLASSPATH=.:$JAV{A}_{H}OME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib /tools.jar

PATH=$PATH:$JAVA_HOME/bin

source ~/.bashrc

使变量设置生效

echo $JAVA_HOME java -version $JAVA_HOME/bin/java -version # 与直接执行 java -version 一样

检验变量值

2. Hadoop2 环境搭建

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或

者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载，本教程选择的是 2.6.0 版

本，下载时请下载 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包

含 src 的则是 Hadoop 源代码，需要进行编译才可使用。本文涉及的文件均通过浏览

器下载，默认保存在 “下载” 目录中（若不是请自行更改 tar 命令的相应目录）。另

外，如果你用的不是 2.6.5 版本，则将所有命令中出现的 2.6.5 更改为你所使用的版

本。

我们选择将 Hadoop 安装至 /usr/local/ 中：

sudo tar -zxf ~/下载/hadoop-2.6.5.tar.gz -C /usr/local sudo mv ./hadoop-2.6.5/ ./hadoop # 将文件夹名改为 hadoop sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限 cd /usr/local/hadoop ./bin/hadoop version

Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单

Java 进程，方便进行调试。

现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子

（运行

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-

examples-2.6.0.jar

可以看到所有例子），包括 wordcount、terasort、join、grep

等。在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选

当中符合正则表达式

dfs[a-z.]+

的单词并统计出现的次数，最后输出结果到 output

文件夹中。

2.1. Hadoop 伪分布式配置

Hadoop 的配置文件位于

/usr/local/hadoop/etc/hadoop/

中，伪分布式需要

修改 2 个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop 的配置文件是 xml 格

式，每个配置以声明 property 的 name 和 value 的方式来实现

修改配置文件 core-site.xml

hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000

同样的，修改配置文件 hdfs-site.xml：

dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data

配置完成后，执行 NameNode 的格式化:

./bin/hdfs namenode –format

接着开启

NaneNode

和

DataNode

守护进程：

./sbin/start-dfs.sh

伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户

目录：

./bin/hdfs dfs -mkdir -p /user/hadoop

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将

/usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。

我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令

中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input:

./bin/hdfs dfs -mkdir input ./bin/hdfs dfs -put ./etc/hadoop/*.xml input 2.2. 启动 YARN

YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行

于 MapReduce 之上，提供了高可用性、高扩展性，YARN 的更多介绍在此不展开，

项目班会着重介绍。

首先修改配置文件 mapred-site.xml，这边需要先进行重命名：

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

mapreduce.framework.name yarn

接着修改配置文件 yarn-site.xml：

yarn.nodemanager.aux-services mapreduce_shuffle

然后就可以启动 YARN 了（需要先执行过./sbin/start-dfs.sh）：

./sbin/start-yarn.sh $ 启动 YARN ./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器，才能在 Web 中查 看任务运行情况

启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度

不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在

跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。 3. 配置文件讲解

4. 服务启动

输入 jps 命令

5. 监控

启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度

不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在

跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好

处是可以通过 Web 界面查看任务的运行情况：http://localhost:8088/cluster，如下图

所示。 成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和

Datanode 信息，还可以在线