【无标题】

实习日记2024.6.4

今天实习的项目是手机流量分析

即统计每个手机号上行流量和、下行流量和、总流量和（上 行流量和+下行流量和）,并且：将统计结果按照手机号的前缀 进行区分，并输出到不同的输出文件中去。

思路： 根据手机号进行分组，然后把该手机号对应的上下行流量加 起来 Mapper: 把手机号、上行流量、下行流量拆开 把手机号作为key，把Access作为value写出去 Reducer形如：(“手机号”,) 自定义分区类（需要继承Partitioner抽象类），并覆写 getPartition()方法。

开发步骤：

（1）自定义Access类 包括属性：手机号、上行流量、下行流量、总流量 （2）自定义Map任务类（Map Task） 对每一行日志内容进行拆分，Map输出数据为： phone==>Access(手机号,该行手机号的上行流量,该行手机号的 下行流量) （3）编写Reduce任务类（Reduce Task） 对每个手机号的流量进行汇总，Map输出数据为： phone==>Access(手机号,上行流量和,下行流量和) 也可以优化为： phone==>Access(NullWritable对象,上行流量和,下行流量和) （4）编写分区处理类 继承org.apache.hadoop.mapreduce.Partitioner 类，"13"开头的手机号交给第一个ReduceTask任务处理，最终 输出到0号分区，"15"开头的手机号交给第二个ReduceTask任 务处理，最终输出到1号分区，其余手机号交给第三个 ReduceTask任务处理，最终输出到2号分区。

过程中遇到的问题：

1.虚拟机导入失败。原因：原虚拟机版本是17.5.0，而我的虚拟机版本是17.0.0，版本不兼容。解决方法：更改软件兼容性调整到17.0.0.

2.Hadoop集群启动失败。原因：namenode启动失败。解决方法：更改core-site.xml文件，关闭集群再重新启动，重复几次得以解决。

集群启动代码

今天完成的步骤主要是导入虚拟机和搭建Hadoop环境，启动集群看是否能够启动成功，启动节点看是否能够启动成功。环境搭建是项目开发的第一步，只有环境不出错后续开发才能继续进行。

项目开发是一个繁琐的过程，需要耐心和毅力，找出出错误的根源然后解决问题，实战过程中我也收获很多。

[root@my2308-host ~]# cd /export/servers/hadoop-3.2.0/
[root@my2308-host hadoop-3.2.0]# cd sbin/
[root@my2308-host sbin]# ./start-all.sh