Hadoop实战——MapReduce实现主播的播放量等数据的统计及TopN排序（第一篇）

一、流程介绍

二、创建Maven工程项目

（1）创建Maven

（2）添加依赖

三、编写MapReduce程序

（1）Map类

（2）主类（入口类）

四、编译打包成Jar包上传

五、原始数据上传到HDFS文件系统

五、执行Jar包程序

Gitee仓库Hadoop项目下载地址

---

前言

==============================================================================

大数据时代越来越多的数据，我们怎么才能从大量数据中提取有价值的数据呢，同时这么多的数据我们该如何编写有效快速的程序进行获取

一、流程介绍

==================================================================================

原始数据集如下

第一章的教学只涉及到数据的清洗和获取，所以只有Map，没有Reduce（统计的时候才需要），大致过程如图

二、创建Maven工程项目

=========================================================================================

（1）创建Maven

---

打开IDAD，新建一个项目，选择Maven，点击下一步

添加项目名称，点击完成

创建之后，右下角会弹出提示，选择Auto自动导入依赖

（2）添加依赖

---

编辑pom.xml配置文件，添加如下内容，等待自动导入完成

    <!-- Hadoop相关依赖包-->

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-common</artifactId>

        <version>3.3.1</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-hdfs</artifactId>

        <version>3.3.1</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-client</artifactId>

        <version>3.3.1</version>

    </dependency>

    <dependency>

        <groupId>junit</groupId>

        <artifactId>junit</artifactId>

        <version>4.12</version>

    </dependency>

</dependencies>

<build>

    <plugins>

        <!-- 打包编译的插件 -->

        <plugin>

            <groupId>org.apache.maven.plugins</groupId>

            <artifactId>maven-compiler-plugin</artifactId>

            <configuration>

                <source>6</source>

                <target>6</target>

            </configuration>

        </plugin>

    </plugins>

</build>

一个基本的Hadoop的Maven工程项目就创建完毕了

三、编写MapReduce程序

===========================================================================================

（1）Map类

---

map类的作用是对原始数据的清洗操作，解析JSON格式的数据，获取我们所需要的数据

在java目录下新建一个DataCleanMap类，继承Mapper类，复写map方法

public class DataCleanMap extends Mapper<LongWritable, Text, Text, Text> {

@Override

protected void map(LongWritable k1, Text v1, Context context) 

        throws IOException, InterruptedException {

}

}

在map方法里，解析JSON数据，读取数据

String line = v1.toString();//获取每一行内容

JSONObject jsonObj = new JSONObject(line); //将字符串转换为JSON格式

String id = jsonObj.getString(“uid”); //获取主播的id数据

/**

• 获取主播的其他数据

• gold-------->>金币

• watchnumpv–>>播放量

• follower---->>粉丝

• length------>>开播时长

*/

int gold = jsonObj.getInt(“gold”);

int watchnumpv = jsonObj.getInt(“watchnumpv”);

int follower = jsonObj.getInt(“follower”);

int length = jsonObj.getInt(“length”);

过滤掉异常的数据（如<0的数据等），最后封装到上下文中

if (gold >= 0 && watchnumpv >= 0 && follower >= 0 && length >= 0) {

// 封装数据到Text中，最后写入context上下文中

Text k2 = new Text();

k2.set(id);

Text v2 = new Text();

v2.set(gold + "\t" + watchnumpv + "\t" + follower + "\t" + length);

context.write(k2, v2);

}

（2）主类（入口类）

---

相当于一个程序的主函数，最先开始执行的地方

在java目录下新建一个DataCleanJob类，在主函数设置Job作业的参数信息

// 运行程序指令输入错误，直接退出程序

if (args.length != 2) {

System.exit(100);

}

Configuration conf = new Configuration(); //job需要的配置参数

Job job = Job.getInstance(conf); //创建一个job

job.setJarByClass(DataCleanJob.class);

//指定输入路径（可以是文件，也可以是目录）

FileInputFormat.setInputPaths(job, new Path(args[0]));

//指定输出路径（只能是指定一个不存在的目录）

FileOutputFormat.setOutputPath(job, new Path(args[1]));

//指定map相关代码

job.setMapperClass(DataCleanMap.class);

//指定K2的类型

job.setMapOutputKeyClass(Text.class);

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此我收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点！不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

[外链图片转存中…(img-tg6DSZCc-1715621881924)]

[外链图片转存中…(img-Ssl21beM-1715621881925)]

[外链图片转存中…(img-BCHpNmvI-1715621881925)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点！不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！