用hash_map统计出现次数最多的前N个URL

最新推荐文章于 2022-01-18 17:42:09 发布
最新推荐文章于 2022-01-18 17:42:09 发布
阅读量3.4k 收藏 1
点赞数
分类专栏： hash 文章标签： hash_map 海量数据处理 hash_map实现词频统计 堆排序
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wodet/article/details/16948593
版权
海量数据处理中，常用方法是将数据分散到多个小文件，分别统计词频，再进行归并。本文介绍了利用hash_map进行小文件词频统计，虽然未展示堆排序部分，但强调了hash_map与map在性能和稳定性上的权衡，hash_map在平均性能上更优，适合快速统计。
摘要由CSDN通过智能技术生成

海量数据统计频率最高词汇的常规办法之一是先通过一个hash函数处理数据然后取模N，拆分为N个小文件，对每一个小文件进行词频统计和排序处理，然后归并N个小文件取频率最大的M个数。


下面程序是利用hash_map处理小文件词频的实现（堆排序部分的代码没加上，可以参见http://blog.csdn.net/wodet/article/details/16948511）

最低0.47元/天 解锁文章
wodet
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
海量数据处理策略之一—Hash映射 + Hash_map统计 + 堆/快速/归并排序
《致青春》——云梦泽
05-21 2982
海量数据处理策略之一—Hash映射 + Hash_map统计 + 堆/快速/归并排序
用hash表统计文本文件中每个单词出现的频率
shangshanhu的专栏
09-30 8099
闲来无事，敲两行代码解解愁。今天介绍一种用自已建立的hash表（hash链表）来统计一个输入文本文件中每个单词出现的频率，hash表的构造详见《编程珠玑》第15章。一、主体思路：  (1)建立一个hash表；    --(a) hash函数：除留取余法，H(key) = key % size；    --(b) 解决冲突的方法：链地址法，将所有映射到相同索引的字符串用链接指针连接在一起。  (2)读取文本文件word.txt，每次读取一行，然后分隔每个单词，插入到hash表，插入过程中会对单词出现次数统计；
C++遍历中删除std::hash_map元素问题
weixin_30520015的博客
05-05 242
问题：在遍历中删除std::hash_map元素时，出现服务器挂的情况。 改进前代码： //释放指定会议的socket和客户信息 it=m_ClientSocket.begin(); for(;it!=m_ClientSocket.end();it++) { if (it->second.meetingid==loginuser...
在apache的log中找出访问次数最多的N个IP。
大爱无疆的博客
08-10 1146
根据需求修改文件名和行数即可 1 awk '{print $1}' 日志文件名 |sort |uniq -c|sort -nr|head -行数 输出： 1 2 3 4 5 1234 123.456.789.0  321 11.22.33.44   56 22.33.44.
利用hash统计分数
fanc的博客
01-15 554
题目描述 读入 N 名学生的成绩，将获得某一给定分数的学生人数输出。 输入 测试输入包含若干测试用例，每个测试用例的格式为 第 1 行:N 第 2 行:N 名学生的成绩，相邻两数字用一个空格间隔。 第 3 行:给定分数 当读到 N=0 时输入结束。其中 N 不超过 1000，成绩分数为(包含)0 到 100 之间的一个整数。 输出 对每个测试用例，将获得给定分数的学生人数
hashmap统计字符串中每个字符出现的次数
fenuang的博客
08-31 7463
package com.heima.test; import java.util.HashMap; import java.util.Map; import java.util.Scanner; import javax.swing.plaf.synth.SynthSpinnerUI; /** * @author fenuang 统计字符串中每个字符出现的次数 1,定义一个需要被统计的字符
统计出现次数最多的数
记忆碎片
10-30 2648
问题描述: 给定n个正整数,找出他们中出现次数最多的数,如果这样的数有多个，请输出其中最小的一个数: 样例: 6(数列长度) 10 1 10 20 30 20(数列) 输出:10 思路:先对数组进行排序,然后将数组中的数据和数据出现的次数存放到HashMap中，最后遍历这张哈希表，输出结果。 下面给出程序: import java.util.Arrays; import java.
给定一个 hashMap 最终输出最大值的键
weixin_34301132的博客
07-11 1054
1 /** 2 * 3 * 类 描 述：机试题： 给定一个 hashMap 最终输出最大值的键 4 * 作 者： 赵 鹏 5 * 时 间：2017年7月4日 下午6:51:06 6 */ 7 8 public class Test { 9 10 public static void ma...
大数据处理算法三：分而治之/hash映射 + hash统计 + 堆/快速/归并排序
生活要继续的专栏
04-29 4930
百度面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。 IP 是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的 IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即 为所求。   百度面试题2、搜
统计一个整数里面出现次数最多最大的数字
VicTree的博客
03-17 4717
要求： 统计一个整数中出现最多的数字。如果数字个数一样，则以最大的数字为准，例如 1 输出 1，121 输出 1，23231 输出 3。针对这个问题，处理步骤可以分为2步： 第一步：首先抽离整数中的每个数字，并且放到该数字对应的桶数组中，桶数组是一个长度为10的数组，其中数组的每个索引都表示整数中可能出现的数字，数组索引0到9刚好表示0到9这10个数字。至于抽离数字可以先将整数对10取
哈希算法 C语言 （链表 巨量且随机的查找）
Cute_jinx的博客
12-07 1505
7-18 词频统计（30 分） 请编写程序，对一段英文文本，统计其中所有不同单词的个数，以及词频最大的前10%的单词。 所谓“单词”，是指由不超过80个单词字符组成的连续字符串，但长度超过15的单词将只截取保留前15个单词字符。而合法的“单词字符”为大小写字母、数字和下划线，其它字符均认为是单词分隔符。 输入格式: 输入给出一段非空文本，最后以符号#结尾。输入保证存在至少10个不同的单词。...
海量数据中找出出现次数最多的前10个URL（如何找出访问最多的IP，如何从大量数据中找出高频词）
qq_35858961的博客
08-08 1万+
教你如何迅速秒杀掉：99%的海量数据处理面试题 https://blog.csdn.net/v_july_v/article/details/7382693 十道海量数据处理面试题与十个方法大总结 https://blog.csdn.net/twlkyao/article/details/12037073 题目描述： 给定a、b两个文件，各存放50亿个url，每个url各占64B，...
【Java集合类】 LinkedHashMap(有序的map)获取第一个元素和最后一个元素
热门推荐
hizhangyuping的博客
08-07 3万+
【Java集合类】 LinkedHashMap获取第一个元素和最后一个元素 获取LinkedHashMap中的头部元素（最早添加的元素）： 时间复杂度O(1) public <K, V> Entry<K, V> getHe...
统计（hash 字典树 trie
Minelois的博客
01-18 132
添加链接描述 #include<bits/stdc++.h> using namespace std; map<string,int> mp; typedef long long ll; int main(){ int n,m; cin>>n>>m; for(int i=1;i<=n;i++){ string s; cin>>s; mp[s]++; }
常见的海量数据处理方法
程序员的艺术人生！
06-22 948
1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 s 遍历文件a，对每个url求取 ，然后根据所取得的值将url分别存储到1000个小文件（记为 ）中。这样每个小文件的大约为300...
HashMap 排序，按照 value，找出字符出现次数最多的
手把手教你学安卓
10-29 3392
方法1static void doString(String input) { Map<Character, Integer> result = new HashMap<Character, Integer>(); for (int i = 0; i < input.length(); i++) { char key = input.charAt(i);
频率统计（map）
追梦赤子心
02-27 1357
统计频率 TimeLimit: 1 Second MemoryLimit: 64 Megabyte Totalsubmit: 67 Accepted: 22 Description AOA非常喜欢阅读莎士比亚的诗，莎士比亚的诗中有种无形的魅力在吸引着他！他认为莎士比亚的诗之所以写得如此传神，应该是他的构词非常好！所以他想知道，在莎士比亚的书中，每个单词出现的频率各是多少
java找出一个数组中出现次数最多且最大的那个元素
大灰狼的专栏
07-09 2万+
比如，一个数组为：[1, 1, 3, 5, 6, 6, 6, 8, 8, 9, 2, 8, 3 ]同时符合最大且次数最多的就是8。 思路：最简单的办法就是采用两层for循环去遍历，时间复杂度为O(n2)，其次可以 先用快速排序将数组排序，然后再找次数最多且最大的数，时间复杂度O(NLogN)， 第三种方法可以采用HashMap，这种方式时间复杂度为O(N)，但是需要空间复杂度O(N) 下面
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值