第一个Hadoop实例

安装hadoop

• 在/opt目录下创建module、software文件夹

  mkdir module
  mkdir software
  

• 将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下的software文件夹下面（所需软件包可点击文章底部百度网盘链接获取）

• 安装jdk

  解压jdk到/opt/module目录下

  tar -zxvf jdk-8u131-linux-x64.tar.gz -C /opt/module/
  

  配置jdk环境变量

1.获取jdk路径：

[root@localhost jdk1.8.0_131]# pwd
/opt/module/jdk1.8.0_131

 

2.打开/etc/profile文件：

vi /etc/profile

 

3.在profile文件末尾添加jdk路径：

##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin

 

4.保存之后退出：

：wq

 

5.让修改之后的文件生效：

source  /etc/profile

 

6.测试jdk安装成功

[root@localhost /]# java -version
java version "1.8.0_131"

• 安装Hadoop

  解压安装文件到/opt/module下面

  tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
  

  将hadoop添加到环境变量：

1.获取hadoop安装路径

[root@localhost hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2

 

2.打开/etc/profile文件

vi /etc/profile

 

3.在profile文件末尾添加hadoop路径

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

 

4.保存后退出：

：wq

 

5.让修改后的文件生效

source /etc/profile

 

6.测试hadoop指令

官方WordCount案例

目的是统计指定文件中单词的数量

1. 在hadoop-2.7.2文件下面创建一个wcinput文件夹

   [root@localhost hadoop-2.7.2]# mkdir wcinput
   

2. 在wcinput文件下创建一个wc.input文件

   [root@localhost wcinput]# touch wc.input
   

3. 编辑wc.input文件

   [root@localhost wcinput]# vi wc.input 
   hadoop yarn
   hadoop mapreduce
   sixj JAVA 
   sixj
   

4. 回到hadoop目录/opt/module/hadoop-2.7.2，执行下面指令：

   [root@localhost hadoop-2.7.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
   

5. 查看结果：

   [root@localhost hadoop-2.7.2]# cat wcoutput/part-r-00000 
   JAVA    1
   hadoop  2
   mapreduce       1
   sixj    2
   yarn    1
   

软件包百度网盘链接（也可直接点击下方阅读原文获取）：

jdk-8u131-linux-x64.tar.gz ：https://pan.baidu.com/s/1mbD1PqGiEyFaF5KUKkerWQ

hadoop-2.7.2.tar.gz：https://pan.baidu.com/s/1YRGITYa1Imcudlpd6xL6xg