package tmp;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import java.io.IOException;
//用ctrl+o导入类中的方法
//WordCount(词频统计)用于统计海量的文件,需要统计每一个单词出现的数量
public class WordCount {
static class MyMapper extends Mapper<LongWritable, Text,Text, LongWritable>
{
// Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>
//KEYIN:框架要传送给咱们写的map方法的输入参数key的数据类型
//默认情况下,框架要传入的key是框架从待处理数据(文本文件)中,读取的某一行数据的偏移量,所以类型
//是long(对于海量数据来说int不够用)
//VALUE:框架要传送给咱们写的map方法的输入参数value的数据类型
//所以是String类型,但是long,String等java原生态的数据类型的序列化效率较低(网络只能传输二进制数据
//所以要序列化),所以hadoop对数据类型进行了封装,有替代品:LongWritable/Text
//map方法处理完数据之后,需要返回值(一个key,一个value)
//KEYOUT:是map方法处理完数据之后返回的key的数据类型
//VALUEOUT:是map方法处理完数据之后返回的value的数据类型
//我们自定义map方法的调用规律:
//maptask每读取一行数据,就调用一次map方法
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
//先将Text转化成String类型
String[] words = line.split(" ");
for (String word : words) {
context.write(new Text(word), new LongWritable(1));
//将单词作为key,将1作为value,以便于后续数据分发
//map端的输出数据:
//<hello,1>
//<world,1>
}
}
}
static class MyReducer extends Reducer<Text,LongWritable,Text,LongWritable>
{
//reduce方法要接收的输入参数有两个:一个key,一个value(它是迭代器,Iterable<T>value)
//用迭代器是因为在数据量很大的情况下,迭代器不占用内存
//所有key相同的数据都会给一个reduce
//KEYIN: 框架要传递给reduce方法的输入参数的KEY的类型--对应map方法输出的key的类型
//VALUEIN:框架要传递给reduce方法的输入参数的VALUE的类型--对应map方法输出的value的类型
//KEYOUT:reduce方法处理完成后的输出结果的key的类型
//VALUEOUT:reduce方法处理完成后的输出结果的value的类型(这里要输出 hello 3 这种格式)
//reduce方法的调用规律:框架从map端的输出结果中,挑选出所有的key相同的一组key-value数据对
//组成一组,然后每一组调用一次reduce方法
@Override
protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
//接到的数据:
//注:是按key的字典顺序排序(升序)
//<gp1816,1>
//<hadoop,1>
//<hdfs,1>
//<hello,1>
//<hrllo,1>
//....
//传入参数,是一组相同单词key的kv键值对
//value是若干相同key的所有value的集合
//<gp1816,1,1,1,1>
long count=0;//定义变量累加单词出现的次数
for(LongWritable v:values)
{
count=count+v.get();//v.get()返回值为long
//次数不一定是1,这样写比较保险
}
context.write(key,new LongWritable(count));
//将数据输出
}
}
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
Configuration conf=new Configuration();
//获取一个配置文件
conf.set("fs.defaultFS","hdfs://hadoop1:9000");
//非HA只要设置这个就OK
Job job=Job.getInstance(conf,"wordcount");
//wordcount为job的名字
job.setJarByClass(WordCount.class);
//指定job的路径
job.setMapperClass(MyMapper.class);
//指定本业务job要使用的Mapper类
job.setReducerClass(MyReducer.class);
//指定本业务job要使用的Reducer类
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(LongWritable.class);
//指定map端数据的输出类型
FileInputFormat.setInputPaths(job,new Path(args[0]));//args[0])表示第一个参数
//指定job的输入路径
FileOutputFormat.setOutputPath(job,new Path(args[1]));
//指定job的输出路径
job.setNumReduceTasks(Integer.parseInt(args[2]));
//设置reducetask的个数,默认是1
boolean b=job.waitForCompletion(true);
//提交job,true表示显示程序的详细信息
System.exit(b?0:1);//0表示正常退出
}
//在集群上运行:
//1点--clean--package生成jar包
//把jar导入集群中,并在linux中创建一个txt任务文件
//#hdfs dfs -mkidr /input
//#hdfs dfs -put 1.txt /input
//hadoop jar juruo-1.0-SNAPSHOT.jar tmp.WordCount /input /output
//或yarn jar juruo-1.0-SNAPSHOT.jar tmp.WordCount /input /output
//注:/output在程序运行前不存在,tmp为类的包名
}