安装hadoop,需要安装jdk和hadoop
1、创建安装目录
在/opt目录下创建module、software文件夹,software用于存放安装的源文件,module用于存放安装后的软件,即解压后的文件。
mkdir module
mkdir software
2、安装JDK
下载JDK(提取码:n43n),下载的JDK包移到/opt/software目录下,然后解压JDK压缩包到/opt/module目录下
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
配置JDK的环境变量,打开/etc/profile文件,加入下列内容:
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
让添加的内容生效,执行:
source /etc/profile
检验JDK是否安装成功,执行:
java -version
3、安装hadoop
下载hadoop安装包(提取码:9p5m),把下载的hadoop安装包放到/opt/software目录下,然后解压安装包
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
配置hadoop,在/etc/profile文件中添加如下内容:
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
让添加的环境变量生效,执行:
source /etc/profile
检验hadoop安装是否成功:
hadoop version
4、WordCount案例(hadoop的本地运行模式)
安装完hadoop后,下面执行官方提供的案例,下面以官方提供的经典案例wordCount统计单词出现的频率为例。
在安装完hadoop后,在hadoop的安装目录下存在一个share目录,里面提供了hadoop提供的一些案例,wordCount就是其中经典的一个。
运行hadoop时需要创建输入目录,用于存放需要分析的数据,在hadoop的安装目录下创建wcinput目录,然后在wcinput目录下创建输入文件wc.input,在输入wc.input文件中添加如下测试内容:
deng zhi qi
zhou jie lun
xue zhi qian
lin jun jie
chen xue ning
liu de hua
zhang jie
zhang xue you
mao bu yi
hua chen yu
chen yi xun
dao lang
huang jia ju
xu song
li zhong sheng
zhuang xun ya
wang li hong
zheng yuan
feng huang chuan qi
li rong hao
wang su long
wang jie
下面回到hadoop目录,执行:
hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
wcoutput为生成结果的目录,不需要手动创建,程序会自动创建
执行结束后,进入wcoutput目录下的part-r-00000文件查看分析的结果,结果如下:
bu 1
chen 3
chuan 1
dao 1
de 1
deng 1
feng 1
hao 1
hong 1
hua 2
huang 2
jia 1
jie 4
ju 1
jun 1
lang 1
li 3
lin 1
liu 1
long 1
lun 1
mao 1
ning 1
qi 2
qian 1
rong 1
sheng 1
song 1
su 1
wang 3
xu 1
xue 3
xun 2
ya 1
yi 2
you 1
yu 1
yuan 1
zhang 2
zheng 1
zhi 2
zhong 1
zhou 1
zhuang 1
至此,hadoop安装并运行成功。