Hadoop序列化--统计每一个手机号全年的总话费(二)分区统计

最新推荐文章于 2024-09-14 22:42:29 发布

雪逗逗0228

最新推荐文章于 2024-09-14 22:42:29 发布

阅读量953

点赞数

文章标签： hadoop java big data

本文链接：https://blog.csdn.net/weixin_46327726/article/details/122180273

版权

在上一篇文章的基础上，对Hadoop代码进行了优化，实现了统计每个手机号全年总话费的功能，并新增了分区策略。通过freePartition.java类，根据手机号前三位进行分区，将数据划分为6个区域。在freeDrive.java中配置分区设置，确保任务块数量不少于分区数量，以优化计算效率。运行结果显示分区统计已成功执行。

摘要由CSDN通过智能技术生成

在上一篇统计的基础上进行了代码优化；
总话费统计
https://blog.csdn.net/weixin_46327726/article/details/122116417?spm=1001.2014.3001.5501
增加了分区的功能；
1.新建freePartition.java类；（设置分区数目以及分区的依据）
这里根据手机号前三个数字进行分区划分为6个区；


import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

public class freePartition extends Partitioner

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

雪逗逗0228

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

hadoop插件apache-hadoop-3.1.0-winutils-master.zip

12-17

标题中的"apache-hadoop-3.1.0-winutils-master.zip"是一个针对Windows用户的Hadoop工具包，它包含了运行Hadoop所需的特定于Windows的工具和配置。`winutils.exe`是这个工具包的关键组件，它是Hadoop在Windows上的一...

Hadoop之MR简单例子（分组统计手机号通讯总数，降序排序）

绣花针

04-18

674

一、Map/Reduce /** * @program: HadoopDemo * @description: 排序后的通讯情况 * @author: Mario * @create: 2019-03-17 21:36 **/ public class SortMR { //使排序实体作为输出的key public static class SortMapp...

参与评论您还未登录，请先登录后发表或查看评论

hadoop中分区详解

weixin_43548518的博客

04-21

4160

分区的目的就是把不同数据输出到不同reduceTask 最终到输出不同文件中 1.hadoop 的默认分区原则： mapTask 之后的数据进入哪个reduceTask的规则默认规则是：按照keyd的hashCode % reduceTask 数量 = 分区号默认reduceTask 数量为1 可以在driver 端进行设置 2. hadoop 的分区作用在那个位置 mapTask 输...

大数据学习——Hadoop序列化

qq_43687583的博客

08-27

920

序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。

关于hadoop序列化自己的类的做统计的实现

hadoop数据分析

03-30

297

POM.xml 文件的依赖：继承Mapper 实处自己的业务 org.apache.hadoop hadoop-common 2.7.0 org.apache.hadoop hadoop-hdfs 2.7.0 org.apache.hadoop hadoop-client 2.7.0 org.apache.hadoop hadoop-yar

Hadoop之序列化

Hao_JunJie的博客

03-26

1822

一、序列化概述： 序列化就是把内存中的对象转换成字节序列(或其他数据传输协议)，以便存储于磁盘和网络传输。反序列化就是把字节序列(或其他数据传输协议)，或者是磁盘的持久化数据转换成内存中的对象。二、为什么要序列化：一般来说 "活的" 对象只存在于内存中，关机断电就没了，而且"活的"对象只能由本机进程使用，不能通过网络发送到另一台计算机上，然后序列化可以将"活的" 对象发送到远程计算机上。三、为什么不用java 序列化： java 序列化是一个重量级的序列化框架(serializable)

Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码

09-17

Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码 Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码 Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码 Hadoop 3.x（MapReduce）----【Hadoop ...

hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus

02-03

总数/每个用户/每个组/每个配置的目录路径/每个路径集目录数文件数文件大小和大小分布（可选）块数文件复制（总体/每个用户摘要）导出器使用解析FSImage。这种方法的优点是快速（2.6 GB FSImage〜50s） ...

hadoop-yarn-common-2.6.5-API文档-中文版.zip

04-07

赠送jar包：hadoop-yarn-common-2.6.5.jar 赠送原API文档：hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码：hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-yarn-common-2.6.5-javadoc-...

hudi-hadoop-mr-bundle-0.11.0.jar

06-28

hudi-hadoop-mr-bundle-0.11.0.jar 配合文档

hadoop-MapReduce案例流量统计+分区

Xiaoweidumpb

10-24

344

step1:建立Partion package flow_count_partion_demo03; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner; public class FlowCountPartion extends Partitioner<Text,FlowBean> { /*该方法指定分区规则 * 135 号码分区 * 136 *

hadoop分区二次排序和统计示例

qq_42428154的博客

12-26

253

1、实验要求：对基站数据进行排序，要求按电话号码升序，到达时间降序进行排序。 2、常用命令运行java程序的jar包：hadoop jar hadoop_sort.jar com.hadoop.sort.My_hadoopsort /input /outfile （其中第一个参数是jar包路径（在linux本地），第二个参数是main()函数所在的完整类名，第三个参数是输入数据的路径（在hdfs上），第四个参数是输出数据的文件夹（在hdfs上）outfile这个文件夹不能已经存在）删除linux文件夹

Hadoop序列化--统计每一个手机号全年的总话费

weixin_46327726的博客

12-23

772

1.数据准备 2.基本思路： Map阶段： a.读取一行数据，切分字段； b.抽取手机号、套餐基本费、语音通信费、短信彩信费、流量费； c.以手机号为key，bean对象为value输出，即context.write(手机号,bean)。 Reduce阶段： a.累加套餐基本费、语音通信费、短信彩信费、流量费得到总花费； b.实现自定义的bean来封装流量信息，并将bean作为map输出的key来传输； c. MR程序在处理数据的过程中会对数据排序(map输出的kv对传输到reduce之前，会排序)，排序

大数据之hadoop中的序列化

a18379692263的博客

11-19

1692

1、概述 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。优点：易于编程（用户只关心业务逻辑即可）、良好的扩展性（可以动态增加服务器）、高容错性（任意一台机器挂掉，可以将任务转移到另一节点）、适合海量数据计算（PB/BP）缺点：不擅长实时计算、不擅...

CentOS安装Hadoop系列

最新发布

Climbman的博客

09-14

234

1、查找APACHE下载官网，搜索hadoop,进入目录，找到common目录，下载对应版本。本次试验使用2.10.2版本，找到hadoop-2.10.2.tar.gz 复制地址链接。3、选择hadoop的配置模式，单机模式，伪集群模式，集群模式。进入到虚拟机，切换到opt/software目录，没有就创建。2、Wget下载安装包到指定目录。国内，可以使用清华源。

技术周总结 09.09~09.15周日(C# WinForm WPF)

xinkuaile的专栏

09-14

481

是 Windows Forms 中控件的一部分，用于表示控件中的所有行的集合。是一个非常强大的控件，可以用来显示和管理数据表格。以下是一些常用的。

WPF DataGrid 列表中，DataGrid.Columns 列根据不同的值显示不同内容

build2024

09-14

364

需求：在WPF DataGrid 控件中，有以下列，绑定了一个LogType，值分别是0,1,2，根据不同的值，显示不同的内容以及背景最终效果图如下： 2.接下来，我们需要定义两个转换器（和），用于根据 LogType 的值来设置背景颜色和显示文本。 2.1 转换器实现 2.2 转换器实现 3.将转换器，添加到资源字典中在你的用户控件中，需要将转换器添加到资源字典中，以便在数据模板中使用。添加代码如下：这样就完成了 LogType 列的自定义显示。根据 LogType 的值，可以看到不

Java-网络

2301_81543552的博客

09-14

336

Java中的网络编程主要涉及使用Socket类进行网络通信，以及理解各种网络协议。以下是一些关键概念和示例代码，帮助您入门。

Android Studio 2024与2022 解决Read timed out和connect timed out的问题

2301_80035882的博客

09-14

334

如果在新建Android项目时报错：Read timed out或者connect timed out。

MapReduce基本用法示例-自定义序列化、排序、分区、分组和topN

本文介绍了MapReduce的基本用法示例，主要包括自定义序列化、排序、分区、分组和topN。在使用这些功能之前，需要确保hadoop环境正常运行。首先，在介绍具体用法之前，作者先介绍了项目的pom.xml文件和测试数据说明...