HADOOP集群MAPREDUCE实践(1)

3人阅读 评论(0) 收藏 举报
分类:

对日志数据中的上下行流量信息汇总

1、自定义的FlowBean实现Writable接口

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.Writable;

public class FlowBean implements Writable{
	
	private long upFlow;
	private long dFlow;
	private long sumFlow;
	
	//反序列化时,需要反射调用空参构造函数,所以要显示定义一个
	public FlowBean(){}
	
	public FlowBean(long upFlow, long dFlow) {
		this.upFlow = upFlow;
		this.dFlow = dFlow;
		this.sumFlow = upFlow + dFlow;
	}
		
	public long getUpFlow() {
		return upFlow;
	}
	public void setUpFlow(long upFlow) {
		this.upFlow = upFlow;
	}
	public long getdFlow() {
		return dFlow;
	}
	public void setdFlow(long dFlow) {
		this.dFlow = dFlow;
	}
	public long getSumFlow() {
		return sumFlow;
	}
	public void setSumFlow(long sumFlow) {
		this.sumFlow = sumFlow;
	}

	/**
	 * 序列化方法
	 */
	@Override
	public void write(DataOutput out) throws IOException {
		out.writeLong(upFlow);
		out.writeLong(dFlow);
		out.writeLong(sumFlow);		
	}

	/**
	 * 反序列化方法
	 * 注意:反序列化的顺序跟序列化的顺序完全一致
	 */
	@Override
	public void readFields(DataInput in) throws IOException {
		 upFlow = in.readLong();
		 dFlow = in.readLong();
		 sumFlow = in.readLong();
	}
	
	@Override
	public String toString() {
		 
		return upFlow + "\t" + dFlow + "\t" + sumFlow;
	}
}

2、 mapper reducer

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class FlowCount {
	
	static class FlowCountMapper extends Mapper<LongWritable, Text, Text, FlowBean>{
		
		@Override
		protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
			 
			//将一行内容转成string
			String line = value.toString();
			//切分字段
			String[] fields = line.split("\t");
			//取出手机号
			String phoneNbr = fields[1];
			//取出上行流量下行流量
			long upFlow = Long.parseLong(fields[fields.length-3]);
			long dFlow = Long.parseLong(fields[fields.length-2]);
			
			context.write(new Text(phoneNbr), new FlowBean(upFlow, dFlow));
						
		}		
	}
		
	static class FlowCountReducer extends Reducer<Text, FlowBean, Text, FlowBean>{
		
		//<183323,bean1><183323,bean2><183323,bean3><183323,bean4>.......
		@Override
		protected void reduce(Text key, Iterable<FlowBean> values, Context context) throws IOException, InterruptedException {

			long sum_upFlow = 0;
			long sum_dFlow = 0;
			
			//遍历所有bean,将其中的上行流量,下行流量分别累加
			for(FlowBean bean: values){
				sum_upFlow += bean.getUpFlow();
				sum_dFlow += bean.getdFlow();
			}
			
			FlowBean resultBean = new FlowBean(sum_upFlow, sum_dFlow);
			context.write(key, resultBean);
						
		}		
	}
			
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		/*conf.set("mapreduce.framework.name", "yarn");
		conf.set("yarn.resoucemanager.hostname", "mini1");*/
		Job job = Job.getInstance(conf);
		
		/*job.setJar("/home/hadoop/wc.jar");*/
		//指定本程序的jar包所在的本地路径
		job.setJarByClass(FlowCount.class);
		
		//指定本业务job要使用的mapper/Reducer业务类
		job.setMapperClass(FlowCountMapper.class);
		job.setReducerClass(FlowCountReducer.class);
		
		//指定mapper输出数据的kv类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(FlowBean.class);
		
		//指定最终输出的数据的kv类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(FlowBean.class);
		
		//指定job的输入原始文件所在目录
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		//指定job的输出结果所在目录
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		//将job中配置的相关参数,以及job所用的java类所在的jar包,提交给yarn去运行
		/*job.submit();*/
		boolean res = job.waitForCompletion(true);
		System.exit(res?0:1);
		
	}	

}
查看评论

大数据之Mapreduce

-
  • 1970年01月01日 08:00

Hadoop实践(四)---Hadoop集群运维

Hadoop集群简单运维指南
  • Wee_Mita
  • Wee_Mita
  • 2016-09-12 21:23:50
  • 543

Hadoop集群模式下运行Mapreduce任务

写了一个Hadoop权威指南中MapReduce处理天气数据的Demo一.MapReduce执行过程map前 map后 mapreduce流程图二.编写Mapper和Reducer类MaxTemp...
  • Chi_LaughingGor
  • Chi_LaughingGor
  • 2017-04-19 17:18:21
  • 790

HADOOP集群MAPREDUCE实践WORDCOUNT

1、 MAPREDUCE 示例编写及编程规范编程规范(1)用户编写的程序分成三个部分:Mapper,Reducer,Driver(提交运行mr程序的客户端)(2)Mapper的输入数据是KV对的形式(...
  • weixin_40747272
  • weixin_40747272
  • 2018-04-16 17:31:24
  • 2

HADOOP集群MAPREDUCE实践(3)

1、需求对日志数据中的上下行流量信息汇总后,按照总流量倒序排序的结果2、 分析基本思路:实现自定义的bean来封装流量信息,并将bean作为map输出的key来传输MR程序在处理数据的过程中会对数据排...
  • weixin_40747272
  • weixin_40747272
  • 2018-04-23 14:51:31
  • 0

HADOOP集群MAPREDUCE实践(4)

mapreduce原理全剖析wordcount代码补充:1、调用combiner组件,2、使用combinerinputformat来做切片MAPREDUCE程序运行模式本地运行模式(1)mapred...
  • weixin_40747272
  • weixin_40747272
  • 2018-04-23 16:40:17
  • 0

HADOOP集群MAPREDUCE实践(2)

根据归属地输出流量统计数据结果到不同文件,以便于在查询统计结果时可以定位到省级范围Mapreduce中会将map输出的kv对,按照相同key分组,然后分发给不同的reducetask默认的分发规则为:...
  • weixin_40747272
  • weixin_40747272
  • 2018-04-23 11:50:49
  • 2

Hadoop实践(四)---Hadoop集群测试(MR样例)

Hadoop 自带示例程序详解
  • Wee_Mita
  • Wee_Mita
  • 2017-03-18 15:29:17
  • 1575

用MapReduce开发的一个TFIDF 计算关键字权重

  • 2012年12月05日 20:17
  • 13KB
  • 下载

进一步理解mapreduce

  • 2012年07月24日 23:42
  • 1.9MB
  • 下载
    个人资料
    持之以恒
    等级:
    访问量: 480
    积分: 321
    排名: 27万+
    文章存档