最近在学Hadoop，自己敲了一下MapReduce的经典案例程序WordCount
发现十分的模板化，写maper进行数据处理，reduce进行分析，然后再模板化的进行设置。
自己做一个记录，大家遇到什么问题可以和我讨论，自己遇到了会给大家分享经验的~
环境：
1、搭建Hadoop集群环境
自己是用VM 虚拟了三个Centos7的机器做的集群，但是调试mr程序是在本地win10下也稍微配置了一下环境，让自己的mr程序可以在本地运行起来（这里大家可以搜搜win10上搭建hadoop环境进行本地调试）
2、编译环境：
我用的Maven进行的代码管理，eclipse jee版本进行的实验，Maven真是太好用了，导包就考它了！！再也不担心依赖了，java版本1.8
开干
统计文本中每个单词的数量
例如：
1.txt文件：
hadoop hadoop hello hello world
java java java
ha ha ha ha
2.txt文件：
c c c java java php php js
c++ c++ c++
统计出每一个单词出现的次数
1、建立新的Maven工程
Maven工程需要修改一下pom.xml文件对项目进行管理
以下是我的一个pom.xml配置信息
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.josgu</groupId>
<artifactId>WordCount</artifactId>
<version>0.0.1-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.8.5</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.8.5</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.8.5</version>
</dependency>
<dependency>
<groupId>jdk.tools</groupId>
<artifactId>jdk.tools</artifactId>
<version>1.8</version>
<scope>system</scope>
<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.mrunit</groupId>
<artifactId>mrunit</artifactId>
<version>1.0.0</version>
<scope>test</scope>
<classifier>hadoop2</classifier>
</dependency>
</dependencies>
</project>
大家要找自己需要的依赖可以在这个网站进行查找
mavenrepository
2、写WordCountMapper
先贴代码：
package com.josgu.hadoop.mr;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
@Override
protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context)
throws IOException, InterruptedException {
// TODO Auto-generated method stub
// super.map(key, value, context);
String line = value.toString();
String[] words = line.split(" ");
for (String word : words) {
context.write(new Text(word), new IntWritable(1));
}
}
}
写WordCountMapper其实就是通过继承将Mapper类中的map函数进行重写
需要注意的是
<LongWritable, Text, Text, IntWritable>
LongWritable, Text是一对，LongWritable是Key ，Text是Value，是从文件读出的数据
可以理解位Key是文本的行号，Value是文本中的一行
Text, IntWritable是一对， Text是Key, IntWritable是Value，是我们要往Reduce传入的数据
可以理解问Key是每一个单词，Value是单词的次数1
其次就是对数据的处理，就是用java对字符串进行操作
String line = value.toString();
String[] words = line.split(" ");
for (String word : words) {
context.write(new Text(word), new IntWritable(1));//将数据传给Reduce
}
数据从文本到Mapper再到Reduce的形式是键值对的形式，即key — value
3、写WordCountReducer
先贴代码：
package com.josgu.hadoop.mr;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
@Override
protected void reduce(Text key, Iterable<IntWritable> values,
Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
// TODO Auto-generated method stub
//super.reduce(arg0, arg1, arg2);
int count = 0;
for (IntWritable value: values) {
count += value.get();
}
context.write(key, new IntWritable(count));
}
}
写WordCountReducer其实就是通过继承将Reducer类中的reduce函数进行重写
需要注意的是也是
<Text, IntWritable, Text, IntWritable>
其实根据上一个的讲解，可以自行进行理解这个数据键值对的写法
然后通过java对数据进行处理
int count = 0;
for (IntWritable value: values) {
count += value.get();
}
context.write(key, new IntWritable(count));//得出结果进行传递 即单词---单词出现次数
写WordCountDriver
这次先说，WordCountDriver函数是作为程序的入口的，需要写main函数，并且做相关的设置
可以说是非常的模板化辣
代码：
package com.josgu.hadoop.mr;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCountDriver {
public static void main(String[] args) throws Exception{
Configuration conf = new Configuration(); //理解为一个信息配置的东西，任何作用的配置信息必须通过Configuration传递
Job job = Job.getInstance(conf); //利用默认的配置信息创建一个job
job.setJarByClass(WordCountDriver.class); //设置主函数入口
job.setMapperClass(WordCountMapper.class);//设置我们的Mapper
job.setReducerClass(WordCountReducer.class);//设置我们的Reducer
job.setMapOutputKeyClass(Text.class);//Mapper输出数据的Key的类型
job.setMapOutputValueClass(IntWritable.class);//Mapper输出数据的Value的类型
job.setOutputKeyClass(Text.class);//输出结果的Key的类型
job.setOutputValueClass(IntWritable.class);输出结果的Value的类型
//job.setNumReduceTasks(1);//将结果输出到几个文件中，默认是1个
/*
由于自己想在本地进行实验，调试，所以在本地配置了hadoop环境，不然会报错，提示缺少插件，大家可以自行百度解决
*/
FileInputFormat.setInputPaths(job, "C:\\Users\\Jos\\Desktop\\wordcount\\input"); //job读取文件的路径
FileOutputFormat.setOutputPath(job, new Path("C:\\Users\\Jos\\Desktop\\wordcount\\output"));//job结果输出的路径
boolean b = job.waitForCompletion(true); //判断程序是否结束
System.exit(b?0:1);//结束就程序结束
}
}
结果
在output中生成了四个文件 .crc是进行校验的文件，_SUCCESS表示成功，数据在part-r-00000中
数据如图示：
再点一次运行会提示已存在，可以删除文件再执行
也可以在WordCountDriver中在new完conf后 加入：
Path outputPath = new Path("C:\\Users\\Jos\\Desktop\\WordCount\\output");
FileSystem fileSystem = FileSystem.get(conf);
if(fileSystem.exists(outputPath)) {
fileSystem.delete(outputPath, true);
System.out.println("Output file has been existed, and will be deleted!");
}
总结：
这个过程还是比较模板化的，但是我们可以通过自己建立对象，对自己的数据进行封装可以对更多数据进行更多操作，我们一次mr出来的数据可以再进行mr处理，二次处理得到我们想要的结果。
最后…如果大家在这个案例中遇到什么问题可以给我留言，可以和大家交流交流，如果自己遇到了一定给予帮助，自己写的时候，搭环境，遇到许多小问题，自己也是和别人讨论，搜索问题最后完成了这个案例，还是不错哒！
扫一扫
604
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
