Hadoop安装部署&本地模式搭建

目录

本地模式介绍

1.环境搭建: JDK的安装

2.Hadoop的安装

3.程序案例演示

---

本地模式介绍

- 特点 :

本地模式，即运⾏在单台机器上，没有分布式思想，使⽤的是本地⽂件系统。

- ⽤途 :

本地模式主要⽤于对 MapReduce 程序的逻辑进⾏调试，确保程序的正确。由于在本

地模式下测试和调试 MapReduce 程序较为⽅便，因此，这种模式适宜⽤在开发阶段。

**1.2. 搭建过程 **

平台 & 软件	说明
操作系统	Windows7 或 Windows 10 或 Mac OS
虚拟软件	VMWare 或 Parallels Desktop(Mac Only)
虚拟机	主机名 : hadoop01 ， IP 地址 : 192.168.10.101
SSH ⼯具	MobaXterm(Windows) 或 FinalShell(Mac)
软件包上传路径	/root/softwares
软件安装路径	/usr/local
JDK	jdk-8u221-linux-x64.tar.gz
Hadoop	hadoop-2.7.6.tar.gz
⽤户	root

1.环境搭建: JDK的安装

修改主机名

[root@localhost ~]# namehostctl namehost hadoop01

1. 检查是否已经安装过或是否有内置的JDK，如果有，将其卸载

# 卸载之前的原因，主要是需要保证安装的 JDK 版本的正确性。

[root@hadoop01 ~] # rpm -qa | grep jdk # 如果有 , 请卸载

[root@hadoop01 ~] # rpm -e xxxxxxxx --nodeps

# 将查询到的 内置jdk 强制卸载

2. 上传jdk1.8到指定路径

使⽤MobaXterm或者FinalShell直接上传即可，上传到 /root/softwares 下

3. 解压jdk到/usr/local/下

[root@hadoop01 ~]# cd /root/softwares && tar -zxvf jdk- 8u221-linux-x64.tar.gz -C /usr/local

4. 更名操作

# 更改名字，是为了后续时候的时候⽅便，不⽤再写后⾯的版本号

[root@hadoop01 ~] # cd /usr/local

[root@hadoop01 local] # mv jdk1.8.0_221/ jdk

5. 配置环境变量

[root@hadoop01 local] # vim /etc/profile

...上述内容省略，在末尾添加即可 ...

# Java Environment

export JAVA_HOME = /usr/local/jdk

export PATH = $PATH : $JAVA_HOME /bin

6. 重新引导，使得环境变量⽣效

[root@hadoop01 local]# source /etc/profile

7. 验证，验证⾃⼰的Java环境是否搭建完成

# 以下命令均可，只要弹出的不是 ” 未找到命令 “ 的提示即可

[root@hadoop01 local] # java -version

# 出现如下第一行版本号（版本号出现你自己的）

java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
 

2.Hadoop的安装

1. 上传Hadoop到Linux

使⽤MobaXterm或者FinalShell上传到 /root/softwares 下即可

2. 解压

[root@hadoop01 ~] # cd /root/softwares && tar -zxvf hadoop- 2.7.6.tar.gz -C /usr/local

3. 更名

[root@hadoop01 ~] # cd /usr/local

[root@hadoop01 local] # mv hadoop-2.7.6/ hadoop

4. 配置Hadoop的环境变量

[root@hadoop01 ~]# vim /etc/profile

...上述内容省略，在最下⽅添加即可...

# Hadoop Environment

export HADOOP_HOME = /usr/local/hadoop

export PATH = $PATH : $HADOOP_HOME /bin: $HADOOP_HOME /sbin

5. 重新引导，使得环境变量⽣效

[root@hadoop01 local]# source /etc/profile

6. 验证是否配置成功

# 如果弹出的信息不是 “ 未找到命令 ” ，说明配置完成

[root@hadoop01 local] # hadoop version

现在就安装好了  下面就可以使用mapreduce简单计算了

3.程序案例演示

1. 进⼊hadoop的根⽬录

[root@hadoop01 local]# cd $HADOOP_HOME

2. 创建⼀个⽬录/input

[root@hadoop01 hadoop] # mkdir input

3. 将 $HADOOP_HOME/etc/hadoop/ ⽬录下的所有 xml ⽂件复制到 input ⽬录下

[root@hadoop01 hadoop]# cp ./etc/hadoop/*.xml ./input

4. 使⽤ hadoop ⾃带的 grep 程序查找 input ⽬录下的⽂件是否有符合正则表达 式'dfs[a-z.]' 的字符串

[root@hadoop01  hadoop] # hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input ./output 'dfs[a-z.]'

命令⾏内容解析：

--1 . 使⽤ hadoop 命令运⾏ jar ⽂件

--2 . 同时指定具体的 jar ⽂件的路径

--3 . 使⽤ jar ⽂件⾥的 grep 主程序

--4 . 统计当前⽬录下的 input ⽬录⾥的内容，

--5 . 将统计结果输出到当前⽬录下的 output ⽬录

--6 . 给 grep 指定⼀个正则表达式

注意：输出⽬录是⼀个不存在的⽬录，程序会⾃动⽣成

5. 进⼊ output ⽬录查看 part-r-00000 ⽂件

[root@hadoop01  hadoop] # cd ./output

[root@hadoop01  output] # cat part-r-00000