Ubuntu-16.04.3环境下安装Hadoop3.2.1 教程

---

前言

Ubuntu-16.04.3环境下安装Hadoop3.2.1 教程
笔者也是刚接触Hadoop，在查阅多方资料后才安装成功，发现网上没有非常适合小白的安装教程，故写下此文章，如有错误，欢迎指正。
其中jdk版本与hadoop版本，与笔者不同，要记得将此文章中的版本号更改为你下载的，若是小白不是太明白，可以跟我版本都下载一样的。

使用本教程请确保系统处于联网状态
本教程是在虚拟机下安装的Ubuntu16.04版本

---

一、安装前的准备工作

1. 创建hadoop用户

如果你安装Ubuntu的时候不是用的“hadoop”用户，那么需要增加一个名为hadoop的用户。（其实对用户名没有那么大严格的要求，但是感觉这样挺方便的）

• 首先按Ctrl+Alt+T打开终端窗口

sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登录的hadoop用户，并使用/bin/bash作为shell。

sudo命令
本文中会大量使用到sudo命令。sudo是linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具，如halt，reboot，su等等。这样不仅减少了root用户的登录 和管理时间，同样也提高了安全性。sudo不是对shell的一个代替，它是面向每个命令的。当使用sudo命令时，就需要输入您当前使用用户的密码。
在Linux的终端中输入密码，终端是不会显示你当前输入的密码，也不会提示你已经输入了多少字符密码。

• 接着使用如下命令设置密码，可简单的设置为hadoop，按提示输入两次密码：

sudo passwd hadoop

• 可为hadoop用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题

sudo adduser hadoop sudo

• 最后使用su hadoop 切换到用户hadoop，或者注销当前用户，选择hadoop登录。

su hadoop

2. 更新apt

切换到hadoop用户后，先更新一些apt，后续会使用apt安装软件，如果没更新可能有一些软件安装不了。按Ctrl+Alt+T打开终端窗口，执行如下命令：

sudo apt-get update

后续需要更改一些配置文件，我比较喜欢用的是vim（vi增强版，基本用法相同），建议安装一下（如果你实在还不会用vi，请使用桌面版的ubuntu的gedit,这样可以使用文本编辑器进行修改，并且每次文件更改完成后请关闭整个gedit程序，否则会占用终端。)

sudo apt-get install vim

安装软件时需要确认，在提示处输入y即可。

二、安装SSH

1.安装SSH

集群，单节点模式都需要用到SSH登录（类似于远程登录，你可以登录某台Linux主机，并且在上面运行命令），Ubuntu默认已安装了SSH client，此外还需要安装SSH server:

sudo apt-get install openssh-server

安装后，可以使用命令登录：

ssh localhost

此时会有提示（SSH首次登陆提示），输入yes。然后按提示输入密码hadoop，这样就可以登录到本机。

2. 配置无密码登录

但这样登录是需要每次输入密码的，我们需要配置成SSH无密码登录比较方便。

首先退出刚才的ssh，就回到了原先的终端窗口，然后利用ssh-keygen生成密钥，并将密钥加入到授权中：

exit
cd ~/.ssh/
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys  

• exit 退出刚才的ssh localhost
• cd ~/.ssh/ 若没有该目录，请执行一次ssh localhost
• ssh-keygen -t rsa 会有提示，都按回车就可以
• cat ./id_rsa.pub >> ./authorized_keys 加入授权

~的含义
在Linux中，_{代表的是用户的主文件夹，即”/home/用户名”这个目录，如你的用户名为hadoop，则}就代表”/home/hadoop”。此外，命令中的#后面的文字是注释，只需要输入前面命令即可。

此时再用ssh localhost命令，无需输入密码就可以直接登录了。

三、安装Java环境

1.建立Java目录

sudo mkdir -p /usr/local/java

2.下载安装Java JDK

1. 下载

网址如下：
Linux版本的Orcle Java JDK
可以用Ubuntu自带的Firefox浏览器打开网址，也可以在Windows上下载，现在后可以在安装了VM Tools工具的Ubuntu可以直接粘贴过去
下载对应版本的jdk，本教程下载的是jdk-8u261-linux-x64.tar.gz

2. 安装
复制文件到刚刚创建的Java目录，路径为/usr/local/java，其中下载文件你若是找不到可以通过ubuntu的资源管理器放到你可以找到的文件目录。这里以我自己为例：

cd /home/chenyi/Downloads
sudo cp -r jdk-8u261-linux-x64.tar.gz /usr/local/java/

• 进入到此目录

cd /usr/local/java

• 解压下载文件到此目录：

sudo tar xvzf jdk-8u261-linux-x64.tar.gz

3. 配置环境变量

修改.bashrc，在最后一行写入下列内容。

sudo vim ~/.bashrc

export JAVA_HOME=/usr/local/java/jdk1.8.0_261
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

运行如下命令使环境变量生效。

source ~/.bashrc

此时就可以验证java环境是否配置成功

java -version

出现下图就是成功了

若不成功可以继续以下操作，若成功可以直接开始安装Hadoop
打开profile文件，插入java环境配置节。

sudo vim /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_261
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

打开environment 文件，追加jdk目录和jdk下的lib的目录，如下所示。

sudo vim /etc/environment

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/local/games:/usr/local/java/jdk1.8.0_261/lib:/usr/local/java/jdk1.8.0_261"

使配置生效

source /etc/environment

验证java环境是否配置成功

java -version

出现下图就是成功了

四、安装Hadoop

Hadoop3 可以通过http://mirrors.cnnic.cn/apache/hadoop/common/ 下载，一般选择下载最新的稳定版本，本教程的是”stable”下的hadoop-3.2.1.tar.gz这个格式的文件，这是编译好的，另一个包含src的则是Hadoop源代码，需要进行编译才可使用。

• 首先我们先进入现在下载Hadoop的位置（我是把他放在这里了，可以自行移动，参考java JDK 的方法）

cd /home/chenyi/Downloads
sudo cp -r hadoop-3.2.1.tar.gz /usr/local #将hadoop移动到local
cd / # 回到根目录
cd /usr/local 
sudo tar xvzf hadoop-3.2.1.tar.gz  #解压到/usr/local中

cd /usr/local/
sudo mv ./hadoop-3.2.1/ ./hadoop  #将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop     #修改文件权限  

Hadoop解压后即可使用。输入如下命令来检查Hadoop是否可用，成功则会显示Hadoop版本信息：

cd /usr/local/hadoop
./bin/hadoop version

五、Hadoop单击配置（非分布式）

Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单java进程，方便进行调试。

现在可以执行例子来感受下Hadoop的运行。Hadoop附带了丰富的例子（运行./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar 可以看到所有的例子），包括wordcount、terasort、join、grep等。

在此我们选择运行grep例子，将input文件夹中的所有文件作为输入，筛选当中符合正则表达式dfs[a-z.]+的单词并统计出现的次数，最后输出结果到output文件夹中。

cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input  #将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input/ ./output 'dfs[a-z.]+'
cat ./output/*

执行成功后如下所示，输出了作业的相关信息，输出的结果是符合正则的单词dfsadmin出现了1次

注意，Hadoop默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将./output删除。

rm -r ./output

六、伪分布式模式配置

1.修改配置文件

Hadoop的配置文件位于/usr/local/etc/hadoop中，伪分布式需要修改2个配置文件core-site.xml和hdfs-site.xml。Hadoop的配置文件是xml格式，每个配置以声明property的name和value的方式来实现。
修改配置文件core-site.xml（使用 vim ./etc/hadoop/core-site.xml)`

cd /usr/local/hadoop
vim etc/hadoop/core-site.xml

修改后内容如下

<configuration>
<property>
                 <name>hadoop.tmp.dir</name>
                 <value>file:/usr/local/hadoop/tmp</value>
                 <description>Abase for other temporary directories.</description>
          </property>
          <property>
                 <name>fs.defaultFS</name>
                 <value>hdfs://localhost:9000</value>
          </property>
</configuration>

同样的，修改配置文件hdfs-site.xml

vim etc/hadoop/hdfs-site.xml

修改后的内容如下

<configuration>

<property>
                    <name>dfs.replication</name>
                    <value>1</value>
               </property>
               <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
               </property>
               <property>
                     <name>dfs.datanode.data.dir</name>
                     <value>file:/usr/local/hadoop/tmp/dfs/data</value>
               </property>
               <property>
                     <name>dfs.http.address</name>
                     <value>127.0.0.1:50070</value>
               </property>

</configuration>

2.执行名称节点格式化

首先配置hadoop-env.sh
在hadoop-env.sh中添加java 环境变量

vim etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_261

配置完成后，执行NameNode的格式化

./bin/hdfs namenode -format

成功的话，会看到"successfully formatted"和"Exitting with status 0"的提示，若为"Exitting with status 1"则是处错。

3.启动Hadoop

接着开启NameNode和DataNode守护进程

./sbin/start-dfs.sh          #start-dfs.sh是个完整的执行文件，中间没有空格键  

若出现SSH提示，输入yes即可。

启动完成后，可以通过命令jps来判断是否成功启动，若成功启动则会列出如下进程:

jps

“NameNode”,“DataNode”,“SecondaryNameNode”（如果SecondaryNameNode没有启动，请运行sbin/stop-dfs.sh关闭进行，然后再次尝试启动尝试）。如果没有NameNode或DataNode,那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

成功就会出现如下图

4.使用Web界面查看HDFS信息

Hadoop启动成功后，可以在Linux系统中打开Firefox，输入地址 http://localhost:50070 就可以查看名称节点和数据节点信息。还可以在线查看HDFS文件