结合案例讲解MapReduce重要知识点 ------------- 去除重复

去除文件中重复的行

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * 
 * @author lyd
 *去重：
 *
 *多个文件：
 *1.file
 *2017-04-13 北京-重庆 15:30
 *2017-04-13 北京-上海 17:30
 *2017-04-13 北京-重庆 16:30
 *2017-04-13 北京-广东 11:36
 *2017-04-13 北京-海南 12:59
 *2017-04-13 北京-拉萨 09:32
 *
 *2.file
 *2017-04-13 北京-重庆 15:30
 *2017-04-13 北京-上海 10:30
 *2017-04-13 北京-重庆 16:30
 *2017-04-13 广州-北京 11:36
 *2017-04-13 海南-北京 12:59
 *2017-04-13 北京-成都 09:32
 *
 *输出：
 * 2017-04-13 北京-重庆 15:30
 * 2017-04-13 北京-上海 17:30
 * 2017-04-13 北京-重庆 16:30
 * 2017-04-13 北京-广东 11:36
 * 2017-04-13 北京-海南 12:59
 * 2017-04-13 北京-拉萨 09:32
 * 2017-04-13 北京-上海 10:30
 * 2017-04-13 广州-北京 11:36
 * 2017-04-13 海南-北京 12:59
 * 2017-04-13 北京-成都 09:32
 * 
 * 
 * 任务：
 * 统计日登陆次数？？统计日二次以上登陆次数？？统计日三次以上登陆次数？？
 * user/login?uid=7595&pw=fjsj09eu5jituteoowu0
 * user/login?uid=230&pw=fjsj09eu5jitiyt674
 * user/login?uid=7595&pw=fjsj09eu5jiiui654
 * user/login?uid=3323&pw=fjsj09eu5765764567
 * user/login?uid=234&pw=fjsj09eu5jituteoowu0
 * user/login?uid=7595&pw=fjsj09eu5jituteoowu0
 * user/login?uid=6854&pw=fjsj09eu5jituteoowu0
 * user/login?uid=230&pw=fjsj09eu5jituteoowu0
 * user/login?uid=7595&pw=fjsj09eu5jituteoowu0
 * user/login?uid=321&pw=fjsj09eu5jituteoowu0
 * 
 */
public class DistinctDemo {
	
	//自定义myMapper
		public static class MyMapper extends Mapper<LongWritable, Text, Text, Text>{
			//只在map方法运行之前执行一次。(仅执行一次)
			@Override
			protected void setup(Context context)
					throws IOException, InterruptedException {
				
			}

			@Override
			protected void map(LongWritable key, Text value,Context context)
					throws IOException, InterruptedException {
				context.write(value, new Text(""));
			}
			
			//map方法运行完后执行一次(仅执行一次)
			@Override
			protected void cleanup(Context context)
					throws IOException, InterruptedException {
			}
		}
		
		//自定义myReducer
		public static class MyReducer extends Reducer<Text, Text, Text, Text>{
			//在reduce方法执行之前执行一次。(仅一次)
			@Override
			protected void setup(Context context)
					throws IOException, InterruptedException {
			}

			@Override
			protected void reduce(Text key, Iterable<Text> value,Context context)
					throws IOException, InterruptedException {
				context.write(key, new Text(""));
			}
			//在reduce方法执行之后执行一次。(仅一次)
			@Override
			protected void cleanup(Context context)
					throws IOException, InterruptedException {
			}
		}
		
		/**
		 * job的驱动方法
		 * @param args
		 */
		public static void main(String[] args) {
			try {
				//1、获取Conf
				Configuration conf = new Configuration();
				conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
				//2、创建job
				Job job = Job.getInstance(conf, "model01");
				//3、设置运行job的class
				job.setJarByClass(DistinctDemo.class);
				//4、设置map相关属性
				job.setMapperClass(MyMapper.class);
				job.setMapOutputKeyClass(Text.class);
				job.setMapOutputValueClass(Text.class);
				FileInputFormat.addInputPath(job, new Path(args[0]));
				
				//5、设置reduce相关属性
				job.setReducerClass(MyReducer.class);
				job.setOutputKeyClass(Text.class);
				job.setOutputValueClass(Text.class);
				//判断输出目录是否存在，若存在则删除
				FileSystem fs = FileSystem.get(conf);
				if(fs.exists(new Path(args[1]))){
					fs.delete(new Path(args[1]), true);
				}
				FileOutputFormat.setOutputPath(job, new Path(args[1]));
				
				//6、提交运行job
				int isok = job.waitForCompletion(true) ? 0 : 1;
				
				//退出
				System.exit(isok);
				
			} catch (IOException | ClassNotFoundException | InterruptedException e) {
				e.printStackTrace();
			}
		}
}