mapper

本文详细探讨了MapReduce中的Mapper组件,包括其工作原理、输入输出格式、常见应用场景和最佳实践。Mapper负责将输入数据转换为中间键值对,为后续的Shuffle和Reduce阶段打下基础。通过实例分析,揭示了Mapper如何处理各种类型的数据,并优化数据处理效率。
摘要由CSDN通过智能技术生成
package cn.tedu.flow;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class FlowDriver {

	public static void main(String[] args) throws Exception {
		//1.创建作业对象
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf, "flow_job");
		
		//2.设置入口类
		job.setJarByClass(cn.tedu.flow.FlowDriver.class);
		
		//3.设定Mapper类
		job.setMapperClass(cn.tedu.flow.FlowMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(FlowBean.class);
		
		//4.设定Reducer类
		job.setReducerClass(cn.tedu.flow.FlowReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(FlowBean.class);

		//5.设定输入位置
		FileInputFormat.setInputPaths(job, new Path("hdfs://192.168.157.136:9000/flow.tx
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值