Hadoop WordCount

package com.yc.hadoop.hdfs;


import java.io.IOException;
import java.util.StringTokenizer;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


/**
 * 单词统计
 * @company 源辰信息
 * @author navy
 * 导包:
 * hadoop-3.0.0\share\hadoop\mapreduce下的jar包
 * hadoop-3.0.0\share\hadoop\common下的jar包
 *  hadoop-3.0.0\share\hadoop\yarn下的jar包
 */
public class YcWordCount {

/**
* 第一、二个参数表示输入map的key和value，从InputFormat传过来的，key默认是字符偏移量，value默认是一行
* 第三、四个表示输出的key和value
* @company 源辰信息
* @author navy
*/
public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{
/*
* IntWritable是 Hadoop 中实现的用于封装 Java 数据类型的类,它的原型是public IntWritable(int value)和public IntWritable()两种。
* 所以new IntWritable(1)是创建了这个类的一个对象，而数值1这是参数。在Hadoop中它相当于java中Integer整型变量，为这个变量赋值为1.
*/
private final static IntWritable one = new IntWritable(1);

/*
* 这类存储的文本使用标准UTF8编码。它提供了序列化、反序列化和比较文本的方法。 
* Text类使用整型来存储字符串编码中所需的字节数。即Text存储的是字节数，这个字节数用整型存储，并且使用零压缩格式进行序列化。
* 此外，它还提供了字符串遍历的方法，而无需将字节数组转换为字符串。
*/
private Text word = new Text();  // 输出的键 单词


/*
* context它是mapper的一个内部类，简单的说顶级接口是为了在map或是reduce任务中跟踪task的状态，很自然的MapContext就是记录了map执行的上下文，
* 在mapper类中，这个context可以存储一些job、conf的信息，比如job运行时参数等，我们可以在map函数中处理这个信息，这也是hadoop中参数传递中一个很经典的例子，
* 同时context作为了map和reduce执行中各个函数的一个桥梁，这个设计和java web中的session对象、application对象很相似(non-Javadoc)
*/
// 处理经过  TextInputFormat  产生的  <k1,v1>，然后产生 <k2,v2>
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
//它是一个很方便的字符串分解器，主要用来根据分隔符把字符串分割成标记（Token），然后按照请求返回各个标记。
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());  // 读取到的单词作为键值
context.write(word,one); // 以单词,1的中间形式交给reduce处理
}
}
}



public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();


public void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key,result);
}
}


public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "word count");

job.setJarByClass(YcWordCount.class);
job.setCombinerClass(IntSumReducer.class);

// 设置MapReduce类
job.setMapperClass(TokenizerMapper.class);
job.setReducerClass(IntSumReducer.class);

// 设置输出格式
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);

/*
* 报错 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
* 请查看报错文档
*/

FileInputFormat.addInputPath(job, new Path("hdfs://192.168.30.130:9000/user/navy/yc.txt"));

// 查看hdfs上的文件和目录  hadoop fs ls /
// 删除目录 hadoop fs -rm -r /<目录名>
// 查看统计信息  hadoop fs -cat wordcount/part-r-00000
FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.30.130:9000/user/navy/wordcount"));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}