大数据学习——安装Hadoop所需环境搭建

本课程需要创建一个名称为hadoop的普通用户，后续所有操作都会使用该用户名登录到Linux系统。

• 在右侧命令行中使用如下命令创建一个hadoop用户：

        sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 Shell。

• 接着使用如下命令为hadoop用户设置密码

        sudo passwd hadoop

由于处于学习阶段，不需要把密码设置得过于复杂，本课程把密码简单设置为hadoop，方便记忆。需要按照提示输入两次密码。

• 然后，可为hadoop用户增加管理员权限，以方便部署，避免一些对于新手来说比较棘手的权限问题，命令如下：

        sudo adduser hadoop sudo

（将hadoop用户添加到组sudo中，前面是用户，后面是组）

• 之后可为hadoop用户配置操作免密，命令如下：

        echo 'hadoop  ALL=(ALL) NOPASSWD:ALL' >> /etc/sudoers

（Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出）

最后，在命令行界面输入以下命令，将登录用户切换为刚创建的hadoop用户。

su hadoop

更新APT

• 为了确保Hadoop安装过程顺利进行，建议执行下面命令更新APT软件：

sudo apt-get update

（注意：如果上面的命令执行失败，很可能代表你处在内网环境下，无法访问到ubuntu的源仓库，可以通过如下命令切换为私有源后再更新软件源：

sudo sed -i 's#http://mirrors.aliyun.com/ubuntu/#http://nexus3.plugins.svc/repository/ubuntu/#g' /etc/apt/sources.list

）

安装SSH

• Ubuntu默认已安装了SSH客户端，因此，这里还需要安装SSH服务端，请在右侧命令行中执行以下命令：

sudo apt-get -y install openssh-server

• SSH服务端安装后，需先启动SSH服务：

sudo service ssh start

服务启动之后即可使用如下命令登录本机：

ssh localhost

执行该命令后会，会出现“yes/no”选择提示，输入“yes”，然后按提示输入密码hadoop，就登录到本机了。

• 然后，请输入命令“exit”退出刚才的SSH，就回到了原先的终端窗口；然后，可以利用ssh-keygen生成密钥，并将密钥加入到授权中，命令如下：

# 若没有该目录，请先执行一次ssh localhost

cd ~/.ssh/

# 会有提示，都按回车即可

ssh-keygen -t rsa   

# 加入授权

cat ./id_rsa.pub >> ./authorized_keys

此时，再执行ssh localhost命令，无需输入密码就可以直接登录了。

安装Java环境

由于Hadoop本身是使用Java语言编写的，因此，Hadoop的开发和运行都需要Java的支持，对于Hadoop3.1.3而言，要求使用JDK1.8或者更新的版本。

• 系统所需JDK1.8安装包已预先存放至/opt目录下。

• 首先执行如下命令创建“/usr/lib/jvm”目录用来存放JDK文件：

cd /usr/lib

#创建/usr/lib/jvm目录用来存放JDK文件

sudo mkdir jvm

执行如下命令对安装文件进行解压缩：

cd /opt

sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm

• 下面继续执行如下命令，设置环境变量：

vim ~/.bashrc

上面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：（i为插入，按Esc之后输入：wq，为保存并退出）

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

• 保存.bashrc文件并退出vim编辑器。然后，继续执行如下命令让.bashrc文件的配置立即生效：

source ~/.bashrc

这时，可以使用如下命令查看是否安装成功：

java -version

• 如果能够在屏幕上返回如下信息，则说明安装成功：

java version "1.8.0_162"

Java(TM) SE Runtime Environment (build 1.8.0_162-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

至此，就成功安装了Java环境。之后就可以进入Hadoop的安装。

编程要求

在右侧命令行中进行如下操作：

• 根据上述步骤完成安装Hadoop所需环境的搭建。
• 创建名为Hadoop的普通用户。
• 更新APT软件。
• 完成SSH的安装。
• 完成Java环境的安装。

测试说明

在按编程要求完成操作后，请点击评测按钮，系统会自动对你的操作进行评测。
当你的结果与预期输出一致时，即为通过。

（备注：仅限学习系统使用，按照黄色点亮来做可以过关，蓝色不一定要执行）

Hadoop用户创建成功

SSH安装成功

Java环境安装成功