我的生产实习项目实训经历Day2
引言
我是一名计算机学院大三学生。本文将分享我的实习第二天的经历和所获得的收获。
项目背景
手机流量统计分析项目
实习内容
需 求:
统计每个手机号上行流量和、下行流量和、总流量和(上行流量和+下行流量和),并且:将统计结果按照手机号的前缀进行区分,并输出到不同的输出文件中去。
13* ==> …
15* ==> …
other ==> …
其中,access.log数据文件
- 第二个字段:手机号
- 倒数第三个字段:上行流量
- 倒数第二个字段:下行流量
思 路:
- 根据手机号进行分组,然后把该手机号对应的上下行流量加起来
- Mapper: 把手机号、上行流量、下行流量拆开
把手机号作为key,把Access作为value写出去 - Reducer形如:(“手机号”,<Access,Access>)
- 自定义分区类(需要继承Partitioner抽象类),并覆写getPartition()方法
开发步骤:
(1)自定义Access类
包括属性:手机号、上行流量、下行流量、总流量
(2)自定义Map任务类(Map Task)
对每一行日志内容进行拆分,Map输出数据为:
phone==>Access(手机号,该行手机号的上行流量,该行手机号的下行流量)
(3)编写Reduce任务类(Reduce Task)
对每个手机号的流量进行汇总,Map输出数据为:
phone==>Access(手机号,上行流量和,下行流量和)
也可以优化为:
phone==>Access(NullWritable对象,上行流量和,下行流量和)
(4)编写分区处理类
继承org.apache.hadoop.mapreduce.Partitioner类,"13"开头的手机号交给第一个ReduceTask任务处理,最终输出到0号分区,"15"开头的手机号交给第二个ReduceTask任务处理,最终输出到1号分区,其余手机号交给第三个ReduceTask任务处理,最终输出到2号分区。
今日实习收获
在今天生产实习中,我收获了很多知识和经验。首先,我学会了如何在实际工作中运用所学的理论知识。其次,我提高了自己问题解决能力。最重要的是,我对Linux虚拟机以及MapReduce的工作流程有了更深入的了解,这将对我的未来职业发展产生积极的影响。