简单的单词个数统计的mapreduce 的代码实现

简单的单词个数统计的mapreduce 的代码实现的解读
数据格式如下
hello tom
hello jerry
hello kitty
hello world
hello tom
5行内容,分别统计每个单词出现的次数
分别建了3个类
第一个 主函数wordcount的类
public class WordCount {


public static void main(String[] args) {
//先創建一個配置文件,後面job的需要
Configuration conf = new Configuration();
Job job = Job.getInstance(conf)
//要把這個類加入到這句話裡面
//這個一定不能忘記
    job.setJarByClass(WordCount.class);
//設置mapper的一些屬性

//設置mapper的類
job.setMapperClass(WcMapper.class);
//mapper輸出的類
job.setMapOutputKeyClass(Text.class);
job.setOutputValueClass(LongWritable.class);
//文件數據的獲取路徑
FileInputFormat.setInputPaths(job, new Path("寫一個你的數據路徑進去"));

//設置一些reduce的屬性
//設置reducer的輸出的類
job.setReducerClass(wcReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(LongWritable.class);
FileInputFormat.setInputPaths(job, new Path("寫一個你的想存儲結果的路徑"));

//把上述的數據做一個提交
job.waitForCompletion(true);
}
}
新建的第二个类 map类
public class WcMapper extends Mapper<LongWritable, Text, Text,Context context>{
//出入的四个参数   分别代表
//<输入的k1 ,输入的v1 ,输出的k1,输出的v1>
@Override
protected void map(LongWritable key, Text value, Context context){
//先把數據接收
String line = value.toString();
//把單詞按照空格分隔開
Sring[] words = line.split(" ")
//寫一個循環。把每個單詞出現的次數計數
for(String w : words){
//遍歷word這個裝單詞的數組,對照每個按此
context.write(new Text(w), new LongWritable(1));
}
}
}


第三个类 reduce类
public class wcReducer extends Reducer<Text, LongWritable, Text,LongWritable>{
@Override
protected void reduce(Text key, Iterable<LongWritable> values, Conetext context){
//定義一個計數器
long conuter = 0;
//循環操作,記錄重複的單詞數目
for(LongerWritable l :values){
counter += l.get();
}


//寫入數據
context.write(key, new LongWritable(counter));
}
}
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值