Hadoop安装部署&本地模式搭建

目录

本地模式介绍

1.环境搭建: JDK的安装

2.Hadoop的安装

3.程序案例演示


本地模式介绍

- 特点 :
本地模式,即运⾏在单台机器上,没有分布式思想,使⽤的是本地⽂件系统。
- ⽤途 :
本地模式主要⽤于对 MapReduce 程序的逻辑进⾏调试,确保程序的正确。由于在本
地模式下测试和调试 MapReduce 程序较为⽅便,因此,这种模式适宜⽤在开发阶段。
**1.2. 搭建过程 **
平台 & 软件
说明
操作系统
Windows7 Windows 10 Mac OS
虚拟软件
VMWare Parallels Desktop(Mac Only)
虚拟机
主机名 : hadoop01 IP 地址 : 192.168.10.101
SSH ⼯具
MobaXterm(Windows) FinalShell(Mac)
软件包上传路径
/root/softwares
软件安装路径
/usr/local
JDK
jdk-8u221-linux-x64.tar.gz
Hadoop
hadoop-2.7.6.tar.gz
⽤户
root

1.环境搭建: JDK的安装

修改主机名

[root@localhost ~]# namehostctl namehost hadoop01

1. 检查是否已经安装过或是否有内置的JDK,如果有,将其卸载

# 卸载之前的原因,主要是需要保证安装的 JDK 版本的正确性。
[root@hadoop01 ~] # rpm -qa | grep jdk # 如果有 , 请卸载
[root@hadoop01 ~] # rpm -e xxxxxxxx --nodeps
# 将查询到的 内置jdk 强制卸载

2. 上传jdk1.8到指定路径

使⽤MobaXterm或者FinalShell直接上传即可,上传到 /root/softwares

3. 解压jdk/usr/local/

[root@hadoop01 ~]# cd /root/softwares && tar -zxvf jdk- 8u221-linux-x64.tar.gz -C /usr/local

4. 更名操作

# 更改名字,是为了后续时候的时候⽅便,不⽤再写后⾯的版本号
[root@hadoop01 ~] # cd /usr/local
[root@hadoop01 local] # mv jdk1.8.0_221/ jdk

5. 配置环境变量

[root@hadoop01 local] # vim /etc/profile
...上述内容省略,在末尾添加即可 ...
# Java Environment
export JAVA_HOME = /usr/local/jdk
export PATH = $PATH : $JAVA_HOME /bin

6. 重新引导,使得环境变量⽣效

[root@hadoop01 local]# source /etc/profile

7. 验证,验证⾃⼰的Java环境是否搭建完成

# 以下命令均可,只要弹出的不是 未找到命令 的提示即可
[root@hadoop01 local] # java -version

# 出现如下第一行版本号(版本号出现你自己的)

java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
 

2.Hadoop的安装

1. 上传HadoopLinux

使⽤MobaXterm或者FinalShell上传到 /root/softwares 下即可

2. 解压

[root@hadoop01 ~] # cd /root/softwares && tar -zxvf hadoop- 2.7.6.tar.gz -C /usr/local

3. 更名

[root@hadoop01 ~] # cd /usr/local
[root@hadoop01 local] # mv hadoop-2.7.6/ hadoop

4. 配置Hadoop的环境变量

[root@hadoop01 ~]# vim /etc/profile

...上述内容省略,在最下⽅添加即可...

# Hadoop Environment
export HADOOP_HOME = /usr/local/hadoop
export PATH = $PATH : $HADOOP_HOME /bin: $HADOOP_HOME /sbin

5. 重新引导,使得环境变量⽣效

[root@hadoop01 local]# source /etc/profile

6. 验证是否配置成功

# 如果弹出的信息不是 未找到命令 ,说明配置完成
[root@hadoop01 local] # hadoop version

现在就安装好了  下面就可以使用mapreduce简单计算了

3.程序案例演示

1. 进⼊hadoop的根⽬录

[root@hadoop01 local]# cd $HADOOP_HOME

2. 创建⼀个⽬录/input

[root@hadoop01 hadoop] # mkdir input
3. $HADOOP_HOME/etc/hadoop/ ⽬录下的所有 xml ⽂件复制到 input ⽬录下

[root@hadoop01 hadoop]# cp ./etc/hadoop/*.xml ./input

4. 使⽤ hadoop ⾃带的 grep 程序查找 input ⽬录下的⽂件是否有符合正则表达 式'dfs[a-z.]' 的字符串
[root@hadoop01  hadoop] # hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input ./output 'dfs[a-z.]'
命令⾏内容解析:
--1 . 使⽤ hadoop 命令运⾏ jar ⽂件
--2 . 同时指定具体的 jar ⽂件的路径
--3 . 使⽤ jar ⽂件⾥的 grep 主程序
--4 . 统计当前⽬录下的 input ⽬录⾥的内容,
--5 . 将统计结果输出到当前⽬录下的 output ⽬录
--6 . grep 指定⼀个正则表达式
注意:输出⽬录是⼀个不存在的⽬录,程序会⾃动⽣成
5. 进⼊ output ⽬录查看 part-r-00000 ⽂件
[root@hadoop01  hadoop] # cd ./output
[root@hadoop01  output] # cat part-r-00000

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值