Hadoop实战——MapReduce实现主播的播放量等数据的统计及TopN排序（第一篇

        <artifactId>hadoop-common</artifactId>

        <version>3.3.1</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-hdfs</artifactId>

        <version>3.3.1</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-client</artifactId>

        <version>3.3.1</version>

    </dependency>

    <dependency>

        <groupId>junit</groupId>

        <artifactId>junit</artifactId>

        <version>4.12</version>

    </dependency>

</dependencies>

<build>

    <plugins>

        <!-- 打包编译的插件 -->

        <plugin>

            <groupId>org.apache.maven.plugins</groupId>

            <artifactId>maven-compiler-plugin</artifactId>

            <configuration>

                <source>6</source>

                <target>6</target>

            </configuration>

        </plugin>

    </plugins>

</build>

一个基本的Hadoop的Maven工程项目就创建完毕了

三、编写MapReduce程序

===========================================================================================

（1）Map类

---

map类的作用是对原始数据的清洗操作，解析JSON格式的数据，获取我们所需要的数据

在java目录下新建一个DataCleanMap类，继承Mapper类，复写map方法

public class DataCleanMap extends Mapper<LongWritable, Text, Text, Text> {

@Override

protected void map(LongWritable k1, Text v1, Context context) 

        throws IOException, InterruptedException {

}

}

在map方法里，解析JSON数据，读取数据

String line = v1.toString();//获取每一行内容

JSONObject jsonObj = new JSONObject(line); //将字符串转换为JSON格式

String id = jsonObj.getString(“uid”); //获取主播的id数据

/**

• 获取主播的其他数据

• gold-------->>金币

• watchnumpv–>>播放量

• follower---->>粉丝

• length------>>开播时长

*/

int gold = jsonObj.getInt(“gold”);

int watchnumpv = jsonObj.getInt(“watchnumpv”);

int follower = jsonObj.getInt(“follower”);

int length = jsonObj.getInt(“length”);

过滤掉异常的数据（如<0的数据等），最后封装到上下文中

if (gold >= 0 && watchnumpv >= 0 && follower >= 0 && length >= 0) {

// 封装数据到Text中，最后写入context上下文中

Text k2 = new Text();

k2.set(id);

Text v2 = new Text();

v2.set(gold + "\t" + watchnumpv + "\t" + follower + "\t" + length);

context.write(k2, v2);

}

（2）主类（入口类）

---

相当于一个程序的主函数，最先开始执行的地方

在java目录下新建一个DataCleanJob类，在主函数设置Job作业的参数信息

// 运行程序指令输入错误，直接退出程序

if (args.length != 2) {

System.exit(100);

}

Configuration conf = new Configuration(); //job需要的配置参数

Job job = Job.getInstance(conf); //创建一个job

job.setJarByClass(DataCleanJob.class);

//指定输入路径（可以是文件，也可以是目录）

FileInputFormat.setInputPaths(job, new Path(args[0]));

//指定输出路径（只能是指定一个不存在的目录）

FileOutputFormat.setOutputPath(job, new Path(args[1]));

//指定map相关代码

job.setMapperClass(DataCleanMap.class);

//指定K2的类型

job.setMapOutputKeyClass(Text.class);

//指定v2的类型

job.setMapOutputValueClass(Text.class);

//设置reduce的数量，0表示禁用reduce

job.setNumReduceTasks(0);

//提交作业job

job.waitForCompletion(true);

四、编译打包成Jar包上传

=============

展开右侧的Mavan，双击clean清理一下，再双击package生成jar包

这时在项目目录会多了一个target的文件夹，下面就有一个jar包程序，右键复制，粘贴到桌面

打开winscp工具，连接自己的虚拟机，将jar包拷贝到虚拟机里（前提要打开虚拟机）

五、原始数据上传到HDFS文件系统

=================

准备数据集，数据集我已经放在底部gitee仓库里了

同样的，将数据集拷贝到虚拟机里

打开主节点虚拟机，start-all一键启动hadoop集群服务

跳转到刚刚拷贝的目录下，查看文件

先在HDFS文件系统创建一个文件夹，用来存放数据，在虚拟机输入指令

[root@hadoop01 data]# hadoop fs -mkdir -p /zhubo/data/

接着输入指令将数据拷贝到HDFS的zhubo文件下的data文件夹下（路径可以自己选，前提要和上一步一样创建文件夹）

[root@hadoop01 data]# hadoop fs -put video_rating.log /zhubo/data/

刷新浏览器，成功拷贝上来了

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip204888 （备注Android）

最后

题外话，我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在IT学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多程序员朋友无法获得正确的资料得到学习提升，故此将并将重要的Android进阶资料包括自定义view、性能优化、MVC与MVP与MVVM三大框架的区别、NDK技术、阿里面试题精编汇总、常见源码分析等学习资料。

【Android思维脑图（技能树）】

知识不体系？这里还有整理出来的Android进阶学习的思维脑图，给大家参考一个方向。

【Android进阶学习视频】、【全套Android面试秘籍】

希望我能够用我的力量帮助更多迷茫、困惑的朋友们，帮助大家在IT道路上学习和发展

意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在IT学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多程序员朋友无法获得正确的资料得到学习提升，故此将并将重要的Android进阶资料包括自定义view、性能优化、MVC与MVP与MVVM三大框架的区别、NDK技术、阿里面试题精编汇总、常见源码分析等学习资料。

【Android思维脑图（技能树）】

知识不体系？这里还有整理出来的Android进阶学习的思维脑图，给大家参考一个方向。

[外链图片转存中…(img-ewZiqNhS-1711938258267)]

【Android进阶学习视频】、【全套Android面试秘籍】

希望我能够用我的力量帮助更多迷茫、困惑的朋友们，帮助大家在IT道路上学习和发展

本文已被CODING开源项目：《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》收录