Hadoop学习之MapReduce(序列化实例)心得

本文详细介绍了如何使用Hadoop MapReduce处理手机号流量数据,包括输入数据格式的分析、关键数据结构的设计(如FlowBean、Mapper和Reducer),以及如何通过Driver类提交Job并验证结果。
摘要由CSDN通过智能技术生成

序列化案例
需求:统计每一个手机号耗费的总上行流量、总下行流量、总流量

1.分析出输入数据格式和输出数据格式(确定map和reduce阶段的key和value)

2.编写FlowBean、FlowMapper、FlowReducer、FlowDriver类:(注意导包)

FlowBean类:实现 Writable 接口;添加空参构造;

重写序列化和反序列化方法,定义参数,添加 get() set() 方法(传入顺序一致);重写 toString()方法

FlowMapper类:继承Mapper类之后写好对应的泛型,重写map()方法;先获取一行,进行切割后抓取想要的数据;封装后写出

FlowReducer类:继承Reducer类之后写好对应的泛型,重写reducer()方法;遍历集合累加值,封装outK outV后写出

    FlowDriver类:获取job;设置jar包的路径(Driver类);关联mapper和reducer(自己所写的类);
                            
            设置map输出的KV类型;设置最终输出的KV类型;设置输入和输出路径 ;提交job

3.将jar包下载后传入hadoop集群

4.在集群中运行(在集群可视化界面确认结果)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

顺其自然的济帅哈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值