大数据处理 - 分治/hash/排序

已于 2023-02-21 11:32:15 修改
阅读量237 收藏
点赞数
分类专栏： 领域算法 文章标签： 哈希算法 数据结构 排序算法 大数据 java Powered by 金山文档
于 2023-02-20 08:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DeveloperFire/article/details/129078883
版权
大数据处理思路: 分而治之/Hash映射 + Hash_map统计 + 堆/快速/归并排序。

思路简介

分而治之/hash映射 + hash统计 + 堆/快速/归并排序，说白了，就是先映射，而后统计，最后排序:

  • 分而治之/hash映射: 针对数据太大，内存受限，只能是: 把大文件化成(取模映射)小文件，即16字方针: 大而化小，各个击破，缩小规模，逐个解决

  • hash_map统计: 当大文件转化了小文件，那么我们便可以采用常规的hash_map(ip，value)来进行频率统计。

  • 堆/快速排序: 统计完了之后，便进行排序(可采取堆排序)，得到次数最多的IP。

案例分析

海量日志数据，提取出某日访问百度次数最多的那个IP

了解本专栏 订阅专栏 解锁全文 超级会员免费看
毕设王同学
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大数据处理 - 外（磁盘文件）排序
DeveloperFire的博客
02-22 157
外排序, 即借助外部存储进行排序.适用范围: 大数据的排序，去重基本原理及要点: 外排序的归并方法，置换选择败者树原理，最优归并树。
BLS12-381签名库-C/C++开发
05-27
符合IETF规范草案：IETF BLS签名V2 IETF Hash-to-Curve V8对x86_64的支持对Linux，Mac和Windows的支持在Mac和Windows上的有限测试对其他语言的显式绑定对使用经swig测试的Python提供的其他语言的Rust绑定支持ARM64
golang实现大数据量文件的排序
jfcat的专栏
06-02 1291
今天的主题围绕一段go代码展开，这段代码主要实现大数据量的文件排序功能，逻辑并不复杂但是实现过程有些问题做下记录 随机数 类型转换 文件操作 priorityqueue优先级队列 随机数的实现每种语言都有，go语言自然也不例外，官方提供了 math/rand 和crypto/rand ，从官方介绍来说crypto/rand 更多适合安全敏感的范围，这里就用math/rand就满足了。 随机数 随机数还要满足两个要求 产生的结果每个都不一样 产生的数能满足一定的大小 少量重复其实没有什么.
分治法+Hash处理海量日志数据
03-20 199
海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最...
Java（计算机相关）面试之海量数据问题处理（1）分治/hash/排序
04-24 845
然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。解答: 由上面第1题，我们知道，数据大则划为小的，如如一亿个Ip求Top 10，可先%1000将ip分到1000个小文件中去，并保证一种ip只出现在一个文件中，再对每个小文件中的ip进行hashmap计数统计并按数量排序，最后归并或者最小堆依次处理每个小文件的top10以得到最后的结。然后一次扫描剩余的元素x，与排好序的100个元素中最小的元素比，如果比这个最小的要大，那么把这个最小的元素删除，并把x利用插入排序的思想，插入到序列L中。
大数据的文件归并排序
w1724556613的博客
04-22 648
试想一个场景，如果一份很大很大的数据需要排序，如果你没有足够的内存放入数据，这样子针对内存的内部排序是无法完成的，所以我们必须依靠磁盘去解决这个问题。 第一 将数据分成若干份(我们这里以10份为例子)，每份都接近内存的最大数据量，这样子，将文件上的数据读入内存中，将它排序，结束后我们就可以得到10份有序的文件数据了。 const char* MergeFile(const char* file) { FILE* fout = fopen(file, "r");//传出文件名，打开此文件 if (fout
hashcat-世界上最快，最先进的密码恢复实用程序-C/C++开发
05-26
hashcat是世界上最快，最先进的密码恢复实用工具，它为300多种高度优化的哈希算法提供了五种独特的攻击模式。 hashcat当前在Linux，Windows和macOS上支持CPU，GPU和其他硬件加速器，并具有帮助启用分布式密码破解的...
通过基于FUSE的文件系统进行文件事务-C/C++开发
05-27
概述k2hftfuse是FUSE文件系统上的文件事务系统，带有K2HASH和K2HASH事务插件CHMPX。 用法您可以将k2hftfuse k2hftfuse用于基于FUSE的文件系统的文件事务。 概述k2hftfuse是FUSE文件系统上的文件事务系统，带有K2HASH...
官方的x64dbg SDK存储库。-C/C++开发
05-27
内容pluginsdk：x64bg插件sdk的标题和库commithash.txt：提交x64dbg存储库的哈希。 许可证：Boost软件许可证-版本1.0-2003年8月17日。您可以自由开发自己喜欢的任何许可证下的插件。 请记住，x64dbg本身是根据GPL...
在C ++中快速打开寻址哈希表。-C/C++开发
05-27
概述此哈希图是一个类似于google / dense_hash_map的开放式地址哈希表，但是，它使用墓碑位图消除了清空或删除k哈希表的必要性C ++中的快速开放式地址哈希表。 概述此哈希表是类似于google / dense_hash_map的开放式...
数据量很大的排序问题 大量数据如何排序
热门推荐
AI吃大瓜的博客
04-14 3万+
数据量很大的排序问题 大量数据如何排序     【尊重原创，转载请注明出处】http://blog.csdn.net/guyuealian/article/details/51119499     同学某天参加腾讯面试，技术面的时候，面试官问了排序问题：     问题一：若有1T的数据，需要实现由大到小排序，你用什么办法，说说你的思路和想法？     问题二：有10个G的数据，如果
hash取模将大文件转成小文件，可排序，可求TopN
卡奥斯道的博客
10-10 1859
声明：参考某文章代码（记不住地址了），将其代码修改为按hash将数据分到不同文件中 import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileReader; import java.io.FileWriter; import java.io.IOExc
大数据排序方案---外排序介绍
houzhyan-博客
04-25 2767
原文:http://blog.sina.com.cn/s/blog_62186b4601019uz1.html 我们一般提到排序都是指内排序，比如快排，堆排序，归并排序等，所谓内排序就是能把所有待排序的数据外进内存之中，比如，一个数组之中。但是如果文件太大，文件中的所有数据不能一次性的放入内存之中，快排，堆排序，归并排序等内排序就无法工作了。     比如下面的程序生成了一个包含266
如何对大数据进行排序
hongtaya的博客
04-30 1274
现有8G的数据，其中都是无符号的int型，现有1G内存，如何对这些数据排序。 答： 首先建立一个struct将数据包起来，结构体包含数据的值及它出现的次数。需要建立一个大根堆，每个大根堆的一个数据项是这个结构体，且此结构体<数据占4字节，词频占8字节>，所以大概可以建8千万个数的大根堆，但是还需要建立一个表<数据占4字节，词频占8字节>，其中存储已经在大根堆中的数，方便...
转载大数据排序 很好的思想
天道酬勤
02-16 142
算法的力量：位运算在排序与搜索中的应用 楔子: 问题:假设一个文件中有9亿条不重复的9位整数，现在要求对这个文件进行排序。 一般解题思路: 1、将数据导入到内存中 2、将数据进行排序　（比如插入排序、快速排序） 3、将排序好的数据存入文件 难题: 一个整数为4个字节即使使用数组也需要900,000,000 * 4byte = 3.4G内存对于32位系统，访问2G以上的内存非常困难...
大数据排序的几种方法
yu487的专栏
01-22 1万+
位图法 位图法是我在编程珠玑上看到的一种比较新颖的方法，思路比较巧妙效率也很高。  使用场景举例：对2G的数据量进行排序，这是基本要求。  数据：1、每个数据不大于8亿；2、数据类型位int；3、每个数据最多重复一次。  内存：最多用200M的内存进行操作。  首先对占用的内存进行判断，每个数据不大于8亿，那么8亿是一个什么概念呢。  **1 byte = 8 bit（位）  1024 byte ...
大数据-spark：综合实例、求top值、文件排序、二次排序
sxj的专栏
10-06 5281
一、求top值实例 1、首先准备数据文件，假设有两个文件，内容以逗号分隔，分别是orderid,userid,payment,productid要求求出payment TOP N个，下面给出file1.txt、file2.txt、file3.txt文件，文件内容为： （1）file1.txt文件内容： 1,1734,43,155 2,4323,12,34223 3,5442,32,3453...
vue element-ui/lib/theme-chalk/index.css webpack
最新发布
12-08
name: utils.assetsPath('img/[name].[hash:7].[ext]') } } ] } } ``` 3.在build->webpack.dev.conf.js中将usePostCSS改为false ```javascript module.exports = merge(baseWebpackConfig, { module: { ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

毕设王同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值