Hadoop实战——MapReduce实现主播的播放量等数据的统计及TopN排序（第一篇），怒肝三个月啃完这110道面试题

---

前言

==============================================================================

大数据时代越来越多的数据，我们怎么才能从大量数据中提取有价值的数据呢，同时这么多的数据我们该如何编写有效快速的程序进行获取

一、流程介绍

==================================================================================

原始数据集如下

第一章的教学只涉及到数据的清洗和获取，所以只有Map，没有Reduce（统计的时候才需要），大致过程如图

二、创建Maven工程项目

=========================================================================================

（1）创建Maven

---

打开IDAD，新建一个项目，选择Maven，点击下一步

添加项目名称，点击完成

创建之后，右下角会弹出提示，选择Auto自动导入依赖

（2）添加依赖

---

编辑pom.xml配置文件，添加如下内容，等待自动导入完成

    <!-- Hadoop相关依赖包-->

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-common</artifactId>

        <version>3.3.1</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-hdfs</artifactId>

        <version>3.3.1</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-client</artifactId>

        <version>3.3.1</version>

    </dependency>

    <dependency>

        <groupId>junit</groupId>

        <artifactId>junit</artifactId>

        <version>4.12</version>

    </dependency>

</dependencies>

<build>

    <plugins>

        <!-- 打包编译的插件 -->

        <plugin>

            <groupId>org.apache.maven.plugins</groupId>

            <artifactId>maven-compiler-plugin</artifactId>

            <configuration>

                <source>6</source>

                <target>6</target>

            </configuration>

        </plugin>

    </plugins>

</build>

一个基本的Hadoop的Maven工程项目就创建完毕了

三、编写MapReduce程序

===========================================================================================

（1）Map类

---

map类的作用是对原始数据的清洗操作，解析JSON格式的数据，获取我们所需要的数据

在java目录下新建一个DataCleanMap类，继承Mapper类，复写map方法

public class DataCleanMap extends Mapper<LongWritable, Text, Text, Text> {

@Override

protected void map(LongWritable k1, Text v1, Context context) 

        throws IOException, InterruptedException {

}

}

在map方法里，解析JSON数据，读取数据

String line = v1.toString();//获取每一行内容

JSONObject jsonObj = new JSONObject(line); //将字符串转换为JSON格式

String id = jsonObj.getString(“uid”); //获取主播的id数据

/**

• 获取主播的其他数据

• gold-------->>金币

• watchnumpv–>>播放量

• follower---->>粉丝

• length------>>开播时长

*/

int gold = jsonObj.getInt(“gold”);

int watchnumpv = jsonObj.getInt(“watchnumpv”);

int follower = jsonObj.getInt(“follower”);

int length = jsonObj.getInt(“length”);

过滤掉异常的数据（如<0的数据等），最后封装到上下文中

if (gold >= 0 && watchnumpv >= 0 && follower >= 0 && length >= 0) {

// 封装数据到Text中，最后写入context上下文中

Text k2 = new Text();

k2.set(id);

Text v2 = new Text();

v2.set(gold + "\t" + watchnumpv + "\t" + follower + "\t" + length);

context.write(k2, v2);

}

（2）主类（入口类）

---

相当于一个程序的主函数，最先开始执行的地方

在java目录下新建一个DataCleanJob类，在主函数设置Job作业的参数信息

// 运行程序指令输入错误，直接退出程序

if (args.length != 2) {

System.exit(100);

}

Configuration conf = new Configuration(); //job需要的配置参数

Job job = Job.getInstance(conf); //创建一个job

job.setJarByClass(DataCleanJob.class);

//指定输入路径（可以是文件，也可以是目录）

FileInputFormat.setInputPaths(job, new Path(args[0]));

//指定输出路径（只能是指定一个不存在的目录）

FileOutputFormat.setOutputPath(job, new Path(args[1]));

//指定map相关代码

job.setMapperClass(DataCleanMap.class);

//指定K2的类型

job.setMapOutputKeyClass(Text.class);

//指定v2的类型

job.setMapOutputValueClass(Text.class);

//设置reduce的数量，0表示禁用reduce

job.setNumReduceTasks(0);

//提交作业job

job.waitForCompletion(true);

四、编译打包成Jar包上传

=============

展开右侧的Mavan，双击clean清理一下，再双击package生成jar包

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）

学习分享

在当下这个信息共享的时代，很多资源都可以在网络上找到，只取决于你愿不愿意找或是找的方法对不对了

很多朋友不是没有资料，大多都是有几十上百个G，但是杂乱无章，不知道怎么看从哪看起，甚至是看后就忘

如果大家觉得自己在网上找的资料非常杂乱、不成体系的话，我也分享一套给大家，比较系统，我平常自己也会经常研读。

2021最新上万页的大厂面试真题

七大模块学习资料：如NDK模块开发、Android框架体系架构…

只有系统，有方向的学习，才能在段时间内迅速提高自己的技术。

这份体系学习笔记，适应人群：
**第一，**学习知识比较碎片化，没有合理的学习路线与进阶方向。
**第二，**开发几年，不知道如何进阶更进一步，比较迷茫。
第三，到了合适的年纪，后续不知道该如何发展，转型管理，还是加强技术研究。如果你有需要，我这里恰好有为什么，不来领取！说不定能改变你现在的状态呢！
由于文章内容比较多，篇幅不允许，部分未展示内容以截图方式展示

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

DK模块开发、Android框架体系架构…**

[外链图片转存中…(img-M6iZnLod-1712540588635)]

只有系统，有方向的学习，才能在段时间内迅速提高自己的技术。

这份体系学习笔记，适应人群：
**第一，**学习知识比较碎片化，没有合理的学习路线与进阶方向。
**第二，**开发几年，不知道如何进阶更进一步，比较迷茫。
第三，到了合适的年纪，后续不知道该如何发展，转型管理，还是加强技术研究。如果你有需要，我这里恰好有为什么，不来领取！说不定能改变你现在的状态呢！
由于文章内容比较多，篇幅不允许，部分未展示内容以截图方式展示

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！