package org.apache.hadoop.examples;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class MapReduceWC {
//第一部分,写map阶段
//指定map输出输出的key和value的序列化类型。
public static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>{
//map函数,处理每一行数据。一行数据是一个对象,调用一次map函数。
// context 这个参数是上下文的意思,里面包括整个任务信息,可以执行数据写入写出
protected void map(LongWritable key, Text value, org.apache.hadoop.mapreduce.Mapper<LongWritable, Text, Text, LongWritable>.Context context) throws java.io.IOException ,InterruptedException
{
//先将该行数据转换成字符串类型
String line = value.toString();
//将一行数据进行切分。按照数据的分隔符。
String[] split = line.split(",");
//遍历数组
for (String word : split) {
//组建 k2和v2,单词统计将 value写死 是 1
//数据通过context写入到磁盘
context.
MyEclipse+hadoop+WordCount
最新推荐文章于 2019-12-14 21:19:28 发布
![](https://img-home.csdnimg.cn/images/20240611030827.png)