海量数据处理策略之一—Hash映射 + Hash_map统计 + 堆/快速/归并排序

最新推荐文章于 2024-05-12 10:08:31 发布
最新推荐文章于 2024-05-12 10:08:31 发布
阅读量2.9k 收藏 4
点赞数 2
分类专栏： 大公司面试笔试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012333003/article/details/26487569
版权
本文介绍了处理海量日志数据的策略，通过哈希映射将大文件划分为小文件，利用hash_map进行频率统计，再用堆/快速/归并排序找出最多访问次数的IP。首先，哈希映射解决内存限制问题，接着对小文件进行统计，最后对统计结果排序确定最大值。
摘要由CSDN通过智能技术生成

时间：2014.05.21

地点：基地

说明：根据July的博客等整理，感谢July的无私奉献

心情：现在都好开心呀，想着要为以后的时光好好奋斗~

---------------------------------------------------------------------------------------

一、问题描述

海量日志数据，提取出某日访问百度次数最多的那个IP。

思路：由于数据集很大，我们的策略是先用哈希映射将海量数据集映射为适当数量的非海量数据集，这个非海量数据集的大小足够我们的计算机吃下。然后我们可用hash_map去对数据进行统计，最后根据统计数据采用堆/快速/归并排序等方式找出最值。

最低0.47元/天 解锁文章
云梦泽1989
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
Hashmap用于统计分析
Just Do It!
01-24 545
项目中需要一段时间周期内，按天统计数据，之前我实现了一个版本，思路如下： 根据输入到查询时间段，拆分成每天到时间间隔，然后每个间隔从数据库查询。 比如查询1月1号8:00到1月10号9:00，查询间隔分别为1月1号8点-1月2号0点，1月2号0点到1月2号23:59:59，依次类推。 后来发现这个思路有些笨，而且频繁查询数据库，性能较低。利用map，一次性查出时间条件内到所有数据，用日期作为
基于HashMap的经典的统计算法
an_gentle_killer的博客
08-18 168
经典的统计算法 1941. 检查是否所有字符出现次数相同（以力扣的经典例题为例） 统计解法代码： public static boolean areOccurrencesEqual(String s) { HashMap<Character, Integer> map = new HashMap<>(); for (int i = 0; i < s.length(); i++) { Integer intege
七种排序--------归并排序（Merging Sort）
yue_jijun的博客
07-30 381
归并排序就是利用归并的思想实现的排序方法。他的原理是假设初始序列含有n个记录，则可以看成是n个有序的子序列，每个子序列的长度为1，然后两两归并，得到[n/2] (整数)个长度为2或1的有序子序列；再两两归并，......，如此重复，直至得到一个长度为n的有序序列为止，这种排序方法称为2路归并排序。 先来看代码： void MergeSort(Sqlist *L) { MSort(L-&gt...
海量数据相关面试问题（二）：海量数据热点数据/出现频度/TOP-K问题（TOP-K 分而治之/Hash映射 / Hashmap统计频度 / 堆排序决出排名）
Love 6's Private Blog
05-18 478
文章目录前引海量数据相关面试问题（二）：海量数据热点数据/出现频度/TOP-K问题（TOP-K Hash映射分而治之 / Hashmap统计频度 / 堆排序决出排名）1、通用数据频度/热点数据 解决办法1、分而治之/Hash映射2、Hashmap 统计频度 / 最小堆 进行数据排名2、海量数据数据频度相关面试题1、(360公司 2012) 100万条记录的文本文件，取出重复数最多的前10条。2、(360公司 2012) 100亿条记录的文本文件，取出重复数最多的前10条。3、(腾讯公司 2011) 服务器内
第四讲. 经典算法之哈希映射
qq_38609781的博客
12-05 1万+
第四讲. 经典算法之哈希映射1. 简介2. 从一个简单例题开始3. 哈希中的碰撞冲突3.1 线性探测法3.2 链地址法3.3 再哈希法3.4 ...4. 哈希函数的设计4.1 更大的哈希表4.2 更好的哈希运算5. 最后说几句 1. 简介 哈希即Hash，一般翻译为散列的意思，简单而言其实就是通过一个函数，将一个值映射成另一个更好的值。 这个更好，是一个比较抽象的概念。可以是把一个很大的数，映射到...
10道海量数据处理题目.pdf
08-27
海量数据处理是信息技术领域的重要课题，特别是在大数据时代，如何高效地处理海量的数据成为了技术的关键。以下将详细讨论给定文件中提到的四个海量数据处理题目及其解决方案。 1. 提取出某日访问百度次数最多的IP ...
海量数据处理方法
01-24
1. 分而治之/hash 映射 + hash 统计 + 堆/快速/归并排序 2. 双层桶划分 3. Bloom filter/Bitmap 4. Trie 树/数据库/倒排索引 5. 外排序 6. 分布式处理之 Hadoop/Mapreduce 在处理海量数据时，需要根据实际情况选择...
十七道海量数据处理面试题与Bit-map详解
06-06
### 十七道海量数据处理面试题与Bit-map详解 #### 第一部分：十五道海量数据处理面试题 **题目一**：给定a、b两个文件，各存放50亿个URL，每个URL各占64字节，内存限制是4GB，让你找出a、b文件共同的URL。 - **...
海量数据处理
04-27
1. **分而治之/Hash映射 + Hash统计 + 堆/快速/归并排序** - **分而治之/hash映射**：将大数据集分割成较小的数据块，以便于管理和处理。通常采用哈希函数将数据映射到不同的小文件中。 - **Hash统计**：利用哈希...
深入了解哈希映射（HashMap）
最新发布
gygkhd的博客
05-12 868
在计算机科学中，哈希映射（HashMap）是一种基于键值对（Key-Value pair）存储数据的数据结构，它提供了高效的数据查找、插入和删除操作。哈希映射的核心思想是使用哈希函数将键转换成数组的索引，通过索引快速定位数据的存储位置。
【哈希表】(三) 实际应用 - 哈希映射
闻韶
08-27 915
LeetCode - 探索卡片 - 哈希表 - 三 - 实际应用 - 哈希映射
哈希表之哈希集和哈希映射详解(c++)，包括hash.count()和hash.fine()的使用。
weixin_45249333的博客
11-21 3603
哈希表中的哈希集和哈希映射，包括建立哈希集，插入键，删除键，搜索键，遍历哈希集详解；和建立哈希映射，插入键值对，删除键值对，搜索键值对，遍历哈希映射详解。包括hash.count()和hash.fine()的使用
LeetCode哈希表（哈希集合，哈希映射）
ji_meng的博客
09-22 1609
哈希表是一种使用哈希函数组织数据，以支持快速插入和搜索的数据结构。 有两种不同类型的哈希表：哈希集合和哈希映射。 哈希集合是集合数据结构的实现之一，用于存储非重复值。 哈希映射是映射 数据结构的实现之一，用于存储(key, value)键值对。
C++：Hash_map(哈希映射)
杨杨子江的博客
05-06 2949
猎豹网校的图 ###目录###0 为什么需要hash_map1 数据结构：hash_map原理2 hash_map 使用2.1 一个简单实例2.2 hash_map 的hash函数2.3 hash_map 的比较函数2.4 hash_map 函数3 相关hash容器4 其他4.1 hash_map和map的区别在哪里？4.2 什么时候需要用hash_map，什么时候需要用map?4.3 如何...
神奇的算法：HashMap(哈希映射)
热门推荐
Jekin_KE的博客
10-21 1万+
1.什么是HashMap？ HashMap，又称哈希映射或散列图。是一个用于储存键—值对（key-value）的集合，每个键—值对又称Entry，将这些Entry储存在一个数组里，这个数组就为HashMap。 一般初始的HashMap为空，如上图所示。 而HashMap最主要有两种方法：Put和Get方法。 2.HashMap的Put方法 Put方法就是将任意数据插入到HashMap中： has...
哈希表原理（直观易懂解释）
qq_41230365的博客
07-15 1万+
理解哈希表的原理，其核心是理解所谓的哈希函数(散列函数)。即如何构建一个确定的映射，它能把关键字映射到一个唯一的存储位置。这种映射应该是我们可以进行计算的。已知关键字，我们应该能算出其地址；反之，已知地址，我们可以检索到对应的关键字。一旦建立起这种关系，那么给定关键字，我就能直接利用这个映射(即所谓的哈希函数)直接算出其地址并寻址。这可大大缩减确定关键字存储位置所花的时间。 先来了解一下Hash...
哈希映射
weixin_30952103的博客
07-18 75
Date：2019-07-18 19:58:48 1 /*-------------------------------散列函数-------------------------------*/ 2 /* 3 1.直接定址法：H（key）= key 4 2.线性变换法：H（key）= a*key + b 5 3.平方取中法：H（key...
哈希集与哈希映射笔记（C++）
师范大学生的博客
03-20 1042
  哈希集和哈希映射都是常用的数据结构。这里记录一下各自的特点与操作方法。   首先定义两个概念：   假设我们做一个名单，里面记录了人物名称与某项事务的对应关系。比如记录了每个人拥有的LOL段位：“盖伦——黄金”，“赵信——白银”。基于刚才的例子，我们定义：   键（key），就是该对应关系的索引。一般我们想要去查找的都是某个人的段位，那么这个人的名称就是用来查找的索引。“盖伦”、“赵信”就属于键。   键值（value），就是键所对应的值，在例子中“黄金”、“白银”就是键值。   需要注意的是，在哈希结
海量数据处理：秒杀面试题的关键策略
2. 堆排序、快速排序和归并排序：优化排序算法以处理大量数据。 3. 双层桶划分：对数据进行层次划分，减少数据碰撞，提高处理效率。 4. Bloom Filter和Bitmap：数据压缩技术，用于快速判断数据是否存在，减少存储...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值