1、hadoop环境搭建


安装hadoop,需要安装jdk和hadoop

1、创建安装目录

在/opt目录下创建module、software文件夹,software用于存放安装的源文件,module用于存放安装后的软件,即解压后的文件。

mkdir module
mkdir software

2、安装JDK

下载JDK(提取码:n43n),下载的JDK包移到/opt/software目录下,然后解压JDK压缩包到/opt/module目录下

  tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置JDK的环境变量,打开/etc/profile文件,加入下列内容:

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

让添加的内容生效,执行:

source /etc/profile

检验JDK是否安装成功,执行:

java -version

3、安装hadoop

下载hadoop安装包(提取码:9p5m),把下载的hadoop安装包放到/opt/software目录下,然后解压安装包

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

配置hadoop,在/etc/profile文件中添加如下内容:

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让添加的环境变量生效,执行:

source /etc/profile

检验hadoop安装是否成功:

hadoop version

4、WordCount案例(hadoop的本地运行模式)

安装完hadoop后,下面执行官方提供的案例,下面以官方提供的经典案例wordCount统计单词出现的频率为例。
在安装完hadoop后,在hadoop的安装目录下存在一个share目录,里面提供了hadoop提供的一些案例,wordCount就是其中经典的一个。
运行hadoop时需要创建输入目录,用于存放需要分析的数据,在hadoop的安装目录下创建wcinput目录,然后在wcinput目录下创建输入文件wc.input,在输入wc.input文件中添加如下测试内容:

deng zhi qi
zhou jie lun
xue zhi qian
lin jun jie
chen xue ning
liu de hua
zhang jie
zhang xue you
mao bu yi
hua chen yu
chen yi xun
dao lang
huang jia ju
xu song
li zhong sheng
zhuang xun ya
wang li hong
zheng yuan
feng huang chuan qi
li rong hao
wang su long
wang jie

下面回到hadoop目录,执行:

hadoop jar
 share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

wcoutput为生成结果的目录,不需要手动创建,程序会自动创建
执行结束后,进入wcoutput目录下的part-r-00000文件查看分析的结果,结果如下:

bu      1
chen    3
chuan   1
dao     1
de      1
deng    1
feng    1
hao     1
hong    1
hua     2
huang   2
jia     1
jie     4
ju      1
jun     1
lang    1 
li      3 
lin     1   
liu     1   
long    1   
lun     1   
mao     1  
ning    1 
qi      2     
qian    1
rong    1
sheng   1
song    1
su      1
wang    3 
xu      1 
xue     3 
xun     2 
ya      1
yi      2
you     1
yu      1
yuan    1
zhang   2
zheng   1
zhi     2
zhong   1
zhou    1
zhuang  1

至此,hadoop安装并运行成功。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值