Hadoop本地模式搭建

本地模式介绍

- 特点:
	本地模式，即运⾏在单台机器上，没有分布式思想，使⽤的是本地⽂件系统。
- ⽤途:
	本地模式主要⽤于对MapReduce程序的逻辑进⾏调试，确保程序的正确。由于在本
	地模式下测试和调试MapReduce程序较为⽅便，因此，这种模式适宜⽤在开发阶段。
**1.2. 搭建过程**

平台软件说明

环境搭建: JDK的安装

1. 检查是否已经安装过或是否有内置的JDK，如果有，将其卸载

# 卸载之前的原因，主要是需要保证安装的JDK版本的正确性。
[root@qianfeng01 ~]# rpm -qa | grep jdk #如果有,请卸载
[root@qianfeng01 ~]# rpm -e xxxxxxxx --nodeps #将查询到的内置jdk强制卸载

2. 上传jdk1.8到指定路径

使⽤MobaXterm或者FinalShell直接上传即可，上传到 /root/softwares 下 

3. 解压jdk到/usr/local/下

root@qianfeng01 ~]# cd /root/softwares && tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local

4. 更名操作

# 更改名字，是为了后续时候的时候⽅便，不⽤再写后⾯的版本号
[root@qianfeng01 ~]# cd /usr/local
[root@qianfeng01 local]# mv jdk1.8.0_221/ jdk

5. 配置环境变量

[root@qianfeng01 local]# vim /etc/profile
...上述内容省略，在末尾添加即可...
# Java Environment
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin

6. 重新引导，使得环境变量⽣效

[root@qianfeng01 local]# source /etc/profile 

7. 验证，验证⾃⼰的Java环境是否搭建完成

# 以下命令均可，只要弹出的不是”未找到命令“的提示即可
[root@qianfeng01 local]# java -version
[root@qianfeng01 local]# javac

Hadoop的安装

1. 上传Hadoop到Linux

使⽤MobaXterm或者FinalShell上传到 /root/softwares 下即可 

2. 解压

[root@qianfeng01 ~]# cd /root/softwares && tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local

3. 更名

[root@qianfeng01 ~]# cd /usr/local
[root@qianfeng01 local]# mv hadoop-2.7.6/ hadoop

4. 配置Hadoop的环境变量

[root@qianfeng01 ~]# vim /etc/profile
...上述内容省略，在最下⽅添加即可...
# Hadoop Environment
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5. 重新引导，使得环境变量⽣效

[root@qianfeng01 local]# source /etc/profile 

6. 验证是否配置成功

# 如果弹出的信息不是“未找到命令”，说明配置完成
[root@qianfeng01 local]# hadoop version

Hadoop的⽬录说明

- bin 	=> hadoop的⼆进制执⾏命令⽂件存储⽬录
- sbin	 => hadoop的执⾏脚本存储⽬录
- etc	 => hadoop的配置⽂件存储⽬录
- lib/libexec	 => hadoop的资源库存储⽬录
- share	 => hadoop的共享资源、开发⼯具和案例存储⽬录
- include 	=> hadoop的⼯具脚本存储⽬录

程序案例演示: grep

1. 进⼊hadoop的根⽬录

[root@qianfeng01 local]# cd $HADOOP_HOME

2. 创建⼀个⽬录/input

[root@qianfeng01 hadoop]# mkdir input 

3. 将$HADOOP_HOME/etc/hadoop/⽬录下的所有xml⽂件复制到input⽬录下

[root@qianfeng01 hadoop]# cp ./etc/hadoop/*.xml ./input 

4. 使⽤hadoop⾃带的grep程序查找input⽬录下的⽂件是否有符合正则表达式’dfs[a-z.]'的字符串

[root@qianfeng01 hadoop]# hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar
grep input ./output 'dfs[a-z.]'
命令⾏内容解析：
--1. 使⽤hadoop命令运⾏jar⽂件
--2. 同时指定具体的jar⽂件的路径
--3. 使⽤jar⽂件⾥的grep主程序
--4. 统计当前⽬录下的input⽬录⾥的内容，
--5. 将统计结果输出到当前⽬录下的output⽬录
--6. 给grep指定⼀个正则表达式

注意：输出⽬录是⼀个不存在的⽬录，程序会⾃动⽣成

5. 进⼊output⽬录查看part-r-00000⽂件

[root@qianfeng01 hadoop]# cd ./output
[root@qianfeng01 output]# cat part-r-00000

程序案例演示: wordcount

1. 新建⼀个⽬录，存放⽂本⽂件

# 将若⼲个存储单词的⽂件放⼊这个⽬录下
[root@qianfeng01 ~]# mkdir ~/input

2. 执⾏wordcount

[root@qianfeng01 hadoop]# cd /usr/local/hadoop
[root@qianfeng01 hadoop]# hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount ~/input ~/output

3. 查看结果

[root@qianfeng01 ~]# cat ~/output/* 

程序案例演示: pi

1. 直接计算pi的结果

[root@qianfeng01 hadoop]# cd /usr/local/hadoop
[root@qianfeng01 hadoop]# hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar pi 10 10

程序案例演示: pi

1. 直接计算pi的结果

[root@qianfeng01 hadoop]# cd /usr/local/hadoop
[root@qianfeng01 hadoop]# hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar pi 10 10