Hadoop单机模式环境搭建

实验原理

安装Java环境和搭建Hadoop单机模式环境

实验环境

VMware® Workstation 15 Pro、Ubuntu 16.04系统

实验步骤

启动Linux系统

打开VMware,启动虚拟机,输入系统密码。修改主机名。

（1）在桌面右键，打开终端。

（2）编辑文件
$ sudo vim /etc/hostname
按提示输入密码
在文件中输入主机名，保存退出。

（3）重启系统。可看到主机名已改为“zhouqiang”。
在/etc/hosts 中添加本主机，否则后面代码运行出错。
$ sudo vim /etc/hosts

添加内容“127.0.0.1 主机名”，保存退出。

安装java环境

3.1、下载 JDK1.8
下载链接：jdk

3.2、解压安装包：
进入/home/hadoop/software_tool/目录，所有实验用到的安装包都存放在本目录，通过官方或其他渠道下载。
$ cd /home/hadoop/software_tool/

解压jdk-8u181-linux-x64.tar.gz到/usr/local
$sudo tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local
（按提示输入密码，下同）

到/usr/local查看是否有jdk1.8.0_181目录
$ cd /usr/local
$ ls

3.3、配置JDK环境变量，修改家目录下的配置文件.bashrc。
$ sudo vim /home/hadoop/.bashrc

然后在末尾添加如下内容，保存退出。

export JAVA_HOME=/usr/local/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

3.4、刷新配置：使配置立即生效
$ source /home/hadoop/.bashrc

3.5、检验是否安装成功
$ java –version
出现如下版本号信息为成功安装

hadoop 安装

4.1、下载安装 Hadoop
下载方法一（推荐使用）：
进入Apache官网http://archive.apache.org/dist/hadoop/common/
选择对应版本的hadoop二进制（binary）压缩包，下载到windows系统目录下，再通过WinSCP工具将安装包上传至Ubuntu系统。
下载方法二：在Ubuntu终端用wget命令直接下载至Ubuntu系统中（命令在同
一行）。
$wget http://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
4.2、解压安装包：解压安装包至/usr/local目录下。
先切换至安装包目录/home/hadoop/software_tool/
$ cd /home/hadoop/software_tool/

解压到/usr/local目录
$ sudo tar -xzvf hadoop-2.7.3.tar.gz -C /usr/local

解压完成后，切换到目标目录。
$ cd /usr/local
$ ls

4.3、配置 hadoop 的 java 工作环境
修改配置文件 hadoop-env.sh。该配置文件在 hadoop 的安装目录下的 etc/hadoop目录下。
$ cd hadoop-2.7.3/etc/hadoop/
$ sudo vim hadoop-env.sh

找到export JAVA_HOME，并修改为：
The java implementation to use.

export JAVA_HOME=/usr/local/jdk1.8.0_181

4.4、把 hadoop 加入到环境变量中
配置hadoop环境变量，修改家目录下的配置文件.bashrc。
$ sudo vim /home/hadoop/.bashrc
然后在末尾添加如下内容，保存退出。

export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新配置，使配置立即生效
$ source /home/hadoop/.bashrc

检验 hadoop 是否安装成功。
$ hadoop version
输出如下版本信息，说明安装成功。

以上单机模式已安装好。
4.5、单机模式已安装好，运行 demo 程序。
先修改 hadoop-2.7.3 权限
$cd /usr/local/
$ sudo chmod 757 hadoop-2.7.3

在/usr/local/hadoop-2.7.3 目录下创建 input 目录
$mkdir input

把 etc/hadoop/下的 xml 配置文件都拷贝到 input 目录中
$ cp etc/hadoop/*.xml input

运行 demo 程序
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce?examples-2.7.3.jar grep input output 'dfs[a-z.]+'

查看程序的输出结果
$ cat output/*
至此单机模式安装和测试完成。

配 置 方 法 可 参 考 ：hadoop配置文件地址