数据流基本问题--确定频繁元素（一）

最新推荐文章于 2022-11-14 17:31:54 发布
最新推荐文章于 2022-11-14 17:31:54 发布
阅读量5.3k 收藏 12
点赞数 7
分类专栏： 数据流算法 文章标签： 频繁元素 过半元素 数据流
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dm_ustc/article/details/45895851
版权
本文探讨数据流中的频繁元素问题，特别是寻找出现次数超过m/k的元素。首先定义了问题，然后通过一个经典案例——过半元素查找问题引入，并给出O(n)时间复杂度的解决方案。接着，文章提出使用一个大小为k-1的哈希映射来跟踪元素及其出现次数，以解决一般情况下的问题。最后，通过分析算法结束时映射中元素的总次数，对频繁元素的实际出现次数进行了估算。
摘要由CSDN通过智能技术生成

对于频繁元素，也可以称作heavy hitter，有大概这么几类问题：比如找出出现最为频繁的前k个元素；找出出现超过m/k次的元素；计算某个具体元素的出现次数；计算某个连续范围内元素出现总次数等。

下面讨论下如何求其中第二个问题。

一、问题定义

如果一个数据流，其中m为数据流的大小，。我们可以定义每个元素出现的次数为，其中为第i个元素出现的次数。容易得出：。

如果给定参数k，我们想求出所有出现次数超过m/k的元素。也就是输出集合：。下面我们先从一个简单特例入

最低0.47元/天 解锁文章
dm_ustc
关注
专栏目录
数据流基本问题--确定频繁元素（二）lossy counting和sticky sampling
dm_ustc的博客
05-27 8758
我们之前在数据流基本问题--确定频繁元素（一）中提到了频繁元素的一个计算问题（找出出现次数超过m/k的元素），里面的算法返回的结果里肯定包含出现次数超过m/k的元素，但是也可能包含不超过m/k的元素（false positive）。对于这个缺点，必须得进行额外一次的重新扫描，以确定最终答案。我们只允许进行一次的扫描，那么该怎么去做呢？这里我们简单讨论下lossy counting算法。 其实
亚线性算法分析之数据流中频繁元素
一棵小树苗的博客
05-08 548
大数据的数据流模型简介： 数据顺序扫描1次或几次（超过O（n）不可行） 内存有限（空间亚线性，内存<<数据的规模，通常为O（logn的k次方）或O（n的α次方）α<1） 有效估计 数据流：来自某个域中的元素序列<x1,x2,x3,x4,……>（数据无尽头） 快速处理数据 例子说明： 32，12，14，32，7，12 ，32，7，6，12，4 元素出现多次，希望找...
牛客基础题：频繁元素
weixin_45523030的博客
02-10 239
直接放题解了，问题不大，桶排序即可 #include <iostream> #include <cstdio> #include <cstring> #include <vector> #include <algorithm> #include <cmath> using namespace std; #define MAX ...
大数据算法学习笔记(4)-数据流中的频繁元素
JiajunBernoulli的博客
04-27 764
问题 求数据流中最频繁的元素，下面用MG算法近似解决求解这个问题。 代码 Java import java.util.*; public class FrequentElement { public static void main(String[] args) { int k = 3;//计数器的个数 Random random = new Random...
前K个最频繁的元素
Epsilon
08-05 1545
题目描述Given a non-empty array of integers, return the k most frequent elements.For example, Given [1,1,1,2,2,3] and k = 2, return [1,2].Note: * You may assume k is always valid, 1 ≤ k ≤ number of uniq
数据流基本问题--基于sketch进行Frequency Estimation
dm_ustc的博客
05-25 1万+
如果一个数据流，其中m为数据流的大小，。我们可以定义每个元素出现 的次数为，其中为第i个元素出现的次数。这篇博客就是讲下的估计问题（Frequency Estimation）。 在数据流基本问题--确定频繁元素里面的方法也可以对元素出现次数进行估计。但是这个方法如果该这种方法处理了两 个数据流，无法对处理的结果进行汇总得到两个数据流合并后的结果进行估计。而且该方法只能针对vanilla
LeetCode python----- 703.数据流中的第K大元素
王冠hurt的博客
10-18 864
寻找数组中的第K大的元素，多种解法以及分析 遇到了一个很简单而有意思的问题，可以看出不同的算法策略对这个问题求解的优化过程。 问题：寻找数组中的第K大的元素。 最简单的想法是直接进行排序，算法复杂度是O(N*logN)。这么做很明显比较低效率，因为不要求别的信息只要计算出第K大的元素。当然，如果在某种情况下需要频繁访问第K大的元素就可以先进行一次排序在直接得出结果。 第一种方式是这样，用选择...
机器学习实战学习笔记（十一）使用FP-growth算法来高效发现频繁项集
The wind of freedom blows
11-14 1082
PS：该系列数据都可以在图灵社区（点击此链接）中随书下载中下载（如下） FP-growth算法：比Apriori算法要快。它基于Apriori构建，但是在完成相同任务时采用了一些不同的技术。这里的任务是将数据集存储在一个特定的称作FP树的结构之后发现频繁项集或者频繁相对，即常在一块出现的元素项的集合FP树。这个算法能够更有效地挖掘数据。这种算法虽然能更为高效地发现频繁项集，但不能用于发现关联规则...
《大数据算法》一3.3　寻找频繁元素的非随机算法
weixin_34337381的博客
06-21 1073
本节书摘来华章计算机《大数据算法》一书中的第3章 ，第3.3节，王宏志　编著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.3　寻找频繁元素的非随机算法 上面讲的是一个简单的例子，接下来讲一个复杂的例子——频繁元素。频繁元素指的是在数据流当中同一个元素出现多次，希望找到出现最频繁的元素。我们看一个例子：在数据流状态<32,12,14...
查找一个数组中出现次数最多的元素。（c于c++）
最新发布
weixin_73970836的博客
11-14 1903
数组中出现次数最多的元素
c++ 找出序列中出现得最频繁的值
c的专栏
08-14 1810
题目要求：编写一个函数模板，接受表示未知类型迭代器的一对值，找出在序列中出现的最频繁的值。 自己写的代码没有考虑存在出现次数最多且相同的情况，也就是默认输出第一次最多的数值。 #include #include #include using namespace std; //找到容器中出现次数最多的值 template typename T::value_type find(T fi
《大数据算法》一3.5　寻找频繁元素的随机算法
weixin_34060299的博客
06-21 956
本节书摘来华章计算机《大数据算法》一书中的第3章 ，第3.5节，王宏志　编著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.5　寻找频繁元素的随机算法 本节重新研究3.3节中讨论的问题，提出寻找频繁元素的随机算法。Misra-Gries算法通过扫描数据一次提供足够的信息，然后通过第二次扫描数据解决频繁元素发现问题，即扫描数据第一次过程中M...
C++实现数组中出现最频繁的前top k个元素
u010506130的专栏
05-10 3664
要求: 时间复杂度小于等于 nlogn. 算法解题思路: 1, 由于原始数组是杂乱无序的, 所以 统计数组中元素出现的次数时间复杂度达到了n^2, 不符合题意. 2, 在统计数组中的元素出现次数之前, 先对数组进行排序, 用时间复杂度是 nlogn的排序算法进行排序,  在这里用C++ 中函数库STL中的sort直接排序, 关于STL中sort实现(成熟的快速排序算法, 结合了内插排序,具体
商品订单频繁项集数据流分析
实践求真知
01-21 887
一 Redis中生成数据 ID1 [(商品1，2),(商品2，3),(商品3，4),(商品4，5)] ID2 [(商品2，3),(商品3，3),(商品4，2),(商品5，5)] ID3 [(商品1，2),(商品2，2),(商品3，4),(商品5，1)] 二 经过Spolt后 1 发射的数据为12条 (ID1,商品1,2) (ID1,商品2,3)
数据流算法
dm_ustc的博客
05-20 5616
在接下来的几个博客里，我将讲述基础的数据流算法，包括采样问题，频繁元素问题，独立元素个数问题，k阶矩问题。后续可能会添加高阶内容。
大数据算法（课后答案总汇）
weixin_44033192的博客
06-29 1万+
第一讲 大数据算法概述 大数据算法概述 第一讲作业 第二讲 亚线性算法 亚线性算法概述 亚线性算法概述单元测验 第三讲 亚线性算法例析 亚线性算法例析 第三讲作业 第四讲 外存算法概述 外存算法概述 第四讲作业 第五讲 外存查找结构 外存查找结构 第五讲作业 第六讲外存图数据算法 外存图数据算法 第六讲作业 第七讲 基于MapReduce的并行算法设计 基于MapReduce的并行算法设计 第七讲作业 第八讲 MapReduce算法例析 MapReduce算法例析 第九讲 超越MapReduce的并行大数.
数据挖掘之大数据流处理
热门推荐
viewcode的专栏
06-17 1万+
大数据流 即 实时收集的大量的数据。 数据的流量大到无法实时将全部数据放入分析工具中处理。 这里写写要解决的问题，及问题解决的思路，若是真的去实现，则需要考虑更多的问题、因素，需要查询更更详尽的资料。 常见的数据流问题： 1. 数据流的查询有哪些类型？有哪些处理策略？ 2. 对大数据流进行抽样，带来哪些问题？ 3. 如何有效地过滤某些数据？ 4. 对独立(不同)元素的
大数据流的在线Heavy Hitters算法（上篇）：基于计数器的方法
LittleMagic's Blog
10-15 4497
Question! 有海量（e.g. 日均千亿级别）的访问日志流，如何在不要求结果100%精确的前提下，尽量快速地统计出被访问次数最多的一些域名，以及它们的访问频率？ Heavy Hitters（频繁项）以及它衍生出来的Top-K（前K最高频项）是大数据和流式计算领域非常经典的问题，并且在海量数据+内存有限+在线计算的前提下，传统的HashMap + Heap-Sort方式几乎不可行，需要利用...
数据流频繁模式挖掘算法FP-SegCount研究
"本文主要研究了面向数据流的频繁模式挖掘问题，并提出了一种名为FP-SegCount的新算法。该算法结合了数据流处理、FP-growth算法和Count-Min Sketch技术，旨在解决数据流环境下经典挖掘方法的局限性。" 在数据挖掘...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值