Hadoop上MapReduce编程（词频）

1、系统环境：centos7，2核，8G内存

2、语言与系统版本环境：Hadoop已经安装，安装的位置/opt/hadoop

3、预置环境：已经部署hadoop的信息,部署位置 /opt/hadoop/,软件环境 eclipse已经安装, 打开位置:桌面》eclipse

4、包的位置及说明：本实验所需要的jar包在/data/hadoop/lib目录下

5、网络连接：离线

6、环境创建说明：由hadoop桌面版镜像创建，自动创建，手工销毁

7、环境内存：本环境基础内存4G，外加eclipse需要4G内存

2.词频统计实验

建立两个txt文件，统计统计input文件夹下所有文件中每个单词的出现次数。

例如，有wordfile1.txt和wordfile2.txt，内容如下：

3.实验步骤

#cd /user           //如果没有这个user目录，可自行创建mkdir /user

# touch wordfile1.txt                    //创建word.txt文件

#vi wordfile1.txt                 //编辑添加内容

# touch wordfile2.txt                    //创建word.txt文件

#vi wordfile2.txt                 //编辑添加内容

文件wordfile1.txt的内容如下：

文件wordfile2.txt的内容如下：

程序应该输出如下形式的结果：

（1）启动Hadoop

执行命令启动部署好的Hadoop系统。

命令：

# cd /opt/hadoop/sbin

# ./start-all.sh

（2）验证HDFS上没有wordcount的文件夹

此时HDFS上应该是没有wordcount文件夹。

# hdfs dfs -ls /                 #查看HDFS上根目录文件 /

（3）上传数据文件到HDFS

#hdfs dfs -put /user/wordfile1.txt /

#hdfs dfs -put /user/wordfile2.txt /

1. 编写MapReduce程序

首先，启动Eclipse，启动以后会弹出如下图所示界面，提示设置工作空间（workspace）。

 

 

可以直接采用默认的设置“/opt/workspace”，点击“Lounch”按钮。

选择“File-->New-->Java Project”菜单，开始创建一个Java工程，弹出如下图所示界面。

 

在“Project name”后面输入工程名称“WordCount”，选中“Use default location”，让这个Java工程的所有文件都保存到“/opt/workspace/WordCount”目录下。在“JRE”这个选项卡中，可以选择当前的Linux系统中已经安装好的JDK，比如jdk1.8.0_162。然后，点击界面底部的“Next>”按钮，进入下一步的设置。

在这个界面中加载该Java工程所需要用到的JAR包，这些JAR包中包含了与Hadoop相关的Java API。这些JAR包都位于Linux系统的Hadoop安装目录下，对于本平台而言，就是在“/data/hadoop/lib”目录下。点击界面中的“Libraries”选项卡，然后，点击界面右侧的“Add External JARs…”按钮。

 

或者，首先在项目下创建一个新的文件夹，用来保存jar包。在项目名上点击鼠标右键，按顺序点击【New】→【Floder】，打开新建文件夹的窗口，输入文件夹名称【lib】，点击【ok】。通常在lib文件夹中存放从外部引入的jar包。

找到要引入的jar包，鼠标选中需要用的jar包，然后按住鼠标左键不放，把jar包拖动到lib文件夹中。又或者是先复制jar包，接着在lib文件夹上右击，选择复制。打开选择框，在弹出的选择框中选择默认的【copy files】，点击【OK】关闭。接着就可以在lib文件夹下看到复制成功的jar包。

如果是在自己电脑上操作，编写一个MapReduce程序，一般需要向Java工程中添加以下JAR包：

1. “/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-3.1.3.jar和haoop-nfs-3.1.3.jar；
2. “/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；
3. “/usr/local/hadoop/share/hadoop/mapreduce”目录下的所有JAR包，但是，不包括jdiff、lib、lib-examples和sources目录。
4. 

 

 

这时，只是把jar包复制到项目中，还不能够使用。需要再在项目名上点击鼠标右键，按顺序选择。

在打开的窗口中，选中【Libraries】页，从右边一栏的按钮中点击【add JARs...】然后选中刚刚复制到项目中的jar包，最后选择Apply and Close

 

这个时候，在【Eclipse】中，就可以找到并且开始使用这个jar包了。

在Eclipse工作界面左侧的“Package Explorer”面板中（如下图所示），找到刚才创建好的工程名称“WordCount”，然后在该工程名称上点击鼠标右键，在弹出的菜单中选择“New-->Class”菜单。

 

在该文件中输入完整的词频统计程序代码，具体如下：

import java.io.IOException;

import java.util.Iterator;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

    public WordCount() {

    }

     public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();

        String[] otherArgs = (new GenericOptionsParser(conf, args)).getRemainingArgs();

        if(otherArgs.length < 2) {

            System.err.println("Usage: wordcount <in> [<in>...] <out>");

            System.exit(2);

        }

        Job job = Job.getInstance(conf, "word count");

        job.setJarByClass(WordCount.class);

        job.setMapperClass(WordCount.TokenizerMapper.class);

        job.setCombinerClass(WordCount.IntSumReducer.class);

        job.setReducerClass(WordCount.IntSumReducer.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(IntWritable.class);

        for(int i = 0; i < otherArgs.length - 1; ++i) {

            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));

        }

        FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));

        System.exit(job.waitForCompletion(true)?0:1);

    }

    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

        private static final IntWritable one = new IntWritable(1);

        private Text word = new Text();

        public TokenizerMapper() {

        }

        public void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {

            StringTokenizer itr = new StringTokenizer(value.toString());

            while(itr.hasMoreTokens()) {

                this.word.set(itr.nextToken());

                context.write(this.word, one);

            }

        }

    }

public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

        private IntWritable result = new IntWritable();

        public IntSumReducer() {

        }

        public void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {

            int sum = 0;

            IntWritable val;

            for(Iterator i$ = values.iterator(); i$.hasNext(); sum += val.get()) {

                val = (IntWritable)i$.next();

            }

            this.result.set(sum);

            context.write(key, this.result);

        }

    }

}

1. 打包成jar文件上传

现在就可以编译上面编写的代码。可以直接点击Eclipse工作界面上部的运行程序的快捷按钮，当把鼠标移动到该按钮上时，在弹出的菜单中选择“Run as”，继续在弹出来的菜单中选择“Java Application”

 

点击界面右下角的“OK”按钮，开始运行程序。程序运行结束后，会在底部的“Console”面板中显示运行结果信息。

下面就可以把Java应用程序打包生成JAR包，部署到Hadoop平台上运行。现在可以把词频统计程序放在“/user”目录下。

首先，请在Eclipse工作界面左侧的“Package Explorer”面板中，在工程名称“WordCount”上点击鼠标右键，在弹出的菜单中选择“Export”，如下图所示。

 

 

假定打包后的文件名为hdpAction.jar，存放在/user目录下

 

在该界面中，“Launch configuration”用于设置生成的JAR包被部署启动时运行的主类，需要在下拉列表中选择刚才配置的类“WordCount-WordCount”。在“Export destination”中需要设置JAR包要输出保存到哪个目录，比如，这里设置为“/user/WordCount.jar”。在“Library handling”下面选择“Extract required libraries into generated JAR”。然后，点击“Finish”按钮。

可以忽略后面2个界面的信息，直接点击界面右下角的“OK”按钮。至此，已经顺利把WordCount工程打包生成了WordCount.jar。可以到Linux系统中查看一下生成的WordCount.jar文件，可以在Linux的终端中执行如下命令：

cd /user

ls

1. 运行程序

在启动Hadoop之后，需要首先删除HDFS中与当前Linux用户hadoop对应的input和output目录（即HDFS中的“/user/hadoop/input”和“/user/hadoop/output”目录），这样确保后面程序运行不会出现问题，具体命令如下：

cd /usr/local/hadoop

./bin/hdfs dfs -rm -r input

./bin/hdfs dfs -rm -r output

然后，再在HDFS中新建与当前Linux用户hadoop对应的input目录，即“/user/hadoop/input”目录，具体命令如下：

cd /usr/local/hadoop

./bin/hdfs dfs -mkdir input

然后，把之前在Linux本地文件系统中新建的两个文件wordfile1.txt和wordfile2.txt（假设这两个文件位于“/usr/local/hadoop”目录下，并且里面包含了一些英文语句），上传到HDFS中的“/user/hadoop/input”目录下，命令如下：

cd /usr/local/hadoop

./bin/hdfs dfs -put ./wordfile1.txt input

./bin/hdfs dfs -put ./wordfile2.txt input

如果HDFS中已经存在目录“/user/hadoop/output”，则使用如下命令删除该目录：

cd /usr/local/hadoop

./bin/hdfs dfs -rm -r /user/hadoop/output

现在，就可以在Linux系统中，使用hadoop jar命令运行程序，命令如下：

cd /usr/local/hadoop

./bin/hadoop jar ./myapp/WordCount.jar input output

上面命令执行以后，当运行顺利结束时，屏幕上会显示类似如下的信息：

词频统计结果已经被写入了HDFS的“/user/hadoop/output”目录中，可以执行如下命令查看词频统计结果：

cd /user

./bin/hdfs dfs -cat output/*

上面命令执行后，会在屏幕上显示如下词频统计结果：