从100亿条记录的文本文件中取出重复数最多的前10条

最新推荐文章于 2024-03-02 12:32:16 发布
最新推荐文章于 2024-03-02 12:32:16 发布
阅读量1w 收藏 11
点赞数 5
分类专栏： 算法 文章标签： 分治算法 海量数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26498709/article/details/78432054
版权
面对100亿条IP地址的文本文件，大小约为100GB，通过哈希分治策略将其分为10000份，每份10MB以便内存处理。Map阶段由master计算机完成文件划分，Reduce阶段由worker计算机对每个小文件统计最多重复的IP。每个worker返回前10个IP，master再从所有结果中找出全局的前10个重复最多IP。此过程体现了MapReduce的分布式并行处理思想。
摘要由CSDN通过智能技术生成

场景

哈希分治法
这是一个 ip 地址 127.0.0.1
假设有100亿个这样的 ip 地址存在文件中
这个文件大小大约是 100GB
问题：要统计出100亿个 ip 中，重复出现次数最多的前10个

分析

100GB 几乎不可能一次加载进内存进行操作，所以必须要拆分
那么可以利用分治的思想，把规模大的问题化小，然后解决各个小的问题，最后得出结果。

实现思路

  • ipv4 地址是一个 32 位的整数，可以用 uint 保存。
  • 我先设计一个哈希函数，把100个G的文件分成10000份，每份大约是 10MB，可以加载进内存了。
例如：我设计一个简单的哈希函数是 f(ip) = ip % 10000，(ip 是个32位整数)
那么 5 % 10000 = 5，不管 5 在哪个地方 5 % 10000 的结果都是 5，这就保证了相同的 ip 会被放在同一个子文件中，方便统计&#
最低0.47元/天 解锁文章
qq_26498709
关注
  • 5
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
大数据中位数怎么运算_转:海量数据找中位数
weixin_30276247的博客
12-28 1796
题目如下：只有2G内存的pc机，在一个存有10G个整数的文件，从中找到中位数，写一个算法。算法：1.利用外排序的方法，进行排序 ,然后再去找中位数2.另外还有个思路利用堆先求第1G大，然后利用该元素求第2G大，然后利用第2G大，求第3G大...当然这样的话虽不需排序，但是磁盘操作会比较多，具体还需要分析下与外排序的效率哪个的磁盘IO会比较多建立一个1g个整数的最大值堆，如果元素小于最大值则入堆，这...
怎样从10亿查询词找出出现频率最高的10个
思考，思考，再思考~
05-25 3282
原创文章，转载请注明： 转载自董的博客 本文链接地址: http://dongxicheng.org/big-data/select-ten-from-billions/ 1． 问题描述 在大规模数据处理中，常遇到的一类问题是，在海量数据中找出出现频率最高的前K个数，或者从海量数据中找出最大的前K个数，这类问题通常称为“top K”问题，如：在搜索引擎中，统计搜索最热门的10个查询词；在
从一亿个数中找出最大的100个 或者n个
03-19
从一亿个数中找出最大的100个 或者n个 用了个堆
100亿个数字找出最大的10个
shenstone2012的专栏
12-21 1302
1、首先一点，对于海量数据处理，思路基本上是确定的，必须分块处理，然后再合并起来。 2、对于每一块必须找出10个最大的数，因为第一块中10个最大数中的最小的，可能比第二块中10最大数中的最大的还要大。 3、分块处理，再合并。也就是Google MapReduce 的基本思想。Google有很多的服务器，每个服务器又有很多的CPU，因此，100亿个数分成100块，每个服务器处理一块，1亿...
100亿个数字中找出最大的10个
nameix的博客
07-24 3万+
100亿个数字找出最大的10个 1、首先一点，对于海量数据处理，思路基本上是：必须分块处理，然后再合并起来。 2、对于每一块必须找出10个最大的数，因为第一块中10个最大数中的最小的，可能比第二块中10最大数中的最大的还要大。 3、分块处理，再合并。也就是Google MapReduce 的基本思想。Google有很多的服务器，每个服务器又有很多的CPU，因此，100亿个数分成100块，
php 多条记录处理,100万条记录的文本文件，取出重复数最多的前10条。
weixin_42445886的博客
03-10 311
1. 100万条记录的文本文件，取出重复数最多的前10条。示例文本：098123234789……234678654123求思路回复讨论(解决方案)导入到表中，然后用sql统计，不知道可行不。你可以试试。导入到表中，然后用sql统计，不知道可行不。你可以试试。这样肯定可行，但应该不是出题者想要的解决方法。想要采用PHP处理或算法explode //读取分割成数组array_count_values/...
海量数据中找出出现次数最多的前10个URL（如何找出访问最多的IP，如何从大量数据中找出高频词）
qq_35858961的博客
08-08 1万+
教你如何迅速秒杀掉：99%的海量数据处理面试题 https://blog.csdn.net/v_july_v/article/details/7382693 十道海量数据处理面试题与十个方法大总结 https://blog.csdn.net/twlkyao/article/details/12037073 题目描述： 给定a、b两个文件，各存放50亿个url，每个url各占64B，...
java海量大文件数据处理方式
zhanjianshinian的专栏
10-20 1万+
http://dotnet.cnblogs.com/page/68772/  1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 s 遍历文件a，对每个url求取，然后
simhash长文本查重算法原理与实战
最新发布
qq_51677409的博客
03-02 1677
SimHash本身属于一种局部敏感hash，其主要思想是降维，将高维的特征向量转化成一个f位的指纹（fingerprint），通过算出两个指纹的海明距离（hamming distince）来确定两篇文章的相似度，海明距离越小，相似度越低（根据 Detecting Near-Duplicates for Web Crawling 论文中所说），。simhash也有其局限性，在处理小于500字的短文本时，simhash的表现并不是很好，所以在使用simhash前一定要注意这个细节。参考文献。
大数据面试题
xgc阳光的博客
09-10 440
1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。 　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1
哈希分治法 - 统计海量数据中出现次数最多的前10个IP
not_in_mountain的博客
09-13 1778
原文链接： 场景 这是一个 ip 地址 127.0.0.1 假设有100亿个这样的 ip 地址存在文件中 这个文件大小大约是 100GB 问题：要统计出100亿个 ip 中，重复出现次数最多的前10个 分析 100GB 几乎不可能一次加载进内存进行操作，所以必须要拆分 那么可以利用分治的思想，把规模大的问题化小，然后解决各个小的问题，最后得出结果。 实现思路
十亿数据中求最大一百个数字
苏湘的专栏
10-13 2742
Stackoverflow看到的问题，真是热火朝天。前期看过相关大数据处理的一些文章，有新的处理方式，于是借此机会实现了一份代码。但是Stackoverflow的Reputation过低，还无法回答问题。在此先保存下来，后期再回复。 package org.example.bigdata; public class TopNumber { public static void main(
1、(topK问题)海量日志数据，提取出某日访问百度次数最多的10个IP。
zhangyun75的博客
05-11 2192
首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文件中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。#include &...
海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）
热门推荐
yofer张耀琦的专栏
08-16 11万+
前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。         先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆
1000万条有重复的字符串，找出重复数前10的字符串
weixin_30244681的博客
09-14 842
输入的时候可以使用map来存储，然后将map里的数据转到vector里，把重复数num按从大到小来排序之后，vector输出前10个即可。 #include <iostream> #include <algorithm> #include <map> #include <string> #include <vector&gt...
100亿个数中找出最大的前K个数（海量TopK问题）
sophia__yu的博客
05-06 2936
对于这个问题，可以有以下思考： 给了多少内存存储这100亿个数据？ 先思考：堆排序效率是nlogn,再思考：可以将这些数据切成等份，再从每一份中找出最大前k个数据，但是效率不高。那如果利用堆的性质呢？ 小堆堆顶元素最小，先将前k个数建成小堆，那么堆顶元素就是最小的，k+1的数依次与堆顶元素进行比较，如果大于，则K+1与堆顶元素交换，依次循环直至所有数据全部比较完，那么这个堆里存放的是最大的前...
统计海量数据中访问最多的IP (略有扩展)
王保迎
07-08 358
[介绍] 这是一道经典的题目，而且也是比较贴近实际的一个问题。 在网上，已经有人给出了非常好的解决方式， 如 CSDN July http://www.cnblogs.com/v-July-v/archive/2012/03/22/2413055.html。   我这里罗列出来，出于两方面考虑 1. 重复、加深记忆。我会把重点思路加以重复 2. 扩展。扩展到更多的场景，拓宽思路。 ...
统计web访问前10的ip
大鹏展翅
10-21 3187
cat access.log|awk '{print $0}'|sort|uniq -c|sort -nr|head -n 10
c语言实现统计一个英文的文本文件中出现次数最多的前十个单词及其出现次数
11-29
```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <ctype.h> #define MAX_WORD_LEN 100 // 最大单词长度 #define TOP_N 10 // 前N个出现次数最多的单词 // 单词结构体 typedef struct { char word[MAX_WORD_LEN]; // 单词 int count; // 出现次数 } Word; // 比较函数，用于qsort排序 int cmp(const void *a, const void *b) { return ((Word *)b)->count - ((Word *)a)->count;} int main() { char filename[100]; // 文件名 printf("请输入文件名："); scanf("%s", filename); FILE *fp = fopen(filename, "r"); // 打开文件 if (fp == NULL) { printf("文件打开失败！\n"); return 0; } Word *words = (Word *)malloc(sizeof(Word) * 1000); // 动态分配内存 int wordCount = 0; // 单词数量 char word[MAX_WORD_LEN]; // 临时存储单词 int len = 0; // 单词长度 char c; // 临时存储字符 while ((c = fgetc(fp)) != EOF) { // 逐个字符读取文件 if (isalpha(c)) { // 如果是字母 if (len < MAX_WORD_LEN - 1) { // 如果单词长度未超过最大长度 word[len++] = tolower(c); // 转换为小写字母并存储 } } else if (len > 0) { // 如果不是字母且单词长度大于0 word[len] = '\0'; // 添加字符串结束符 int i; for (i = 0; i < wordCount; i++) { // 查找单词是否已存在 if (strcmp(words[i].word, word) == 0) { // 如果已存在 words[i].count++; // 出现次数加1 break; } } if (i == wordCount) { // 如果不存在 strcpy(words[wordCount].word, word); // 存储单词 words[wordCount].count = 1; // 出现次数为1 wordCount++; // 单词数量加1 } len = 0; // 重置单词长度 } } fclose(fp); // 关闭文件 qsort(words, wordCount, sizeof(Word), cmp); // 按出现次数排序 printf("出现次数前%d的单词：\n", TOP_N); int i; for (i = 0; i < TOP_N && i < wordCount; i++) { // 输出前N个单词 printf("%s\t%d\n", words[i].word, words[i].count); } free(words); // 释放内存 return 0; } ``` --相关问题--: 1. 如何统计一个中文文本文件中出现次数最多的前十个汉字
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值