网络测量中基于Sketch方法的调查

最新推荐文章于 2023-07-20 11:26:49 发布
最新推荐文章于 2023-07-20 11:26:49 发布
阅读量841 收藏 4
点赞数
文章标签： sketch 数据结构与算法
原文链接：http://www.cnblogs.com/vancasola/p/9735989.html
版权
本文探讨了网络测量中基于Sketch的各种方法，包括LD Sketch、SeqHash、Count-Sketch和Count-min Sketch、Diamond Sketch等，应用于异常检测、流量统计等场景。这些方法以节省空间和快速处理为特点，但也存在精度不足的问题。文章还介绍了Bloom Filter和Quotient Filter等数据结构在相关领域的应用。
摘要由CSDN通过智能技术生成
最低0.47元/天 解锁文章
weixin_30779691
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
网络测量中基于Sketch方法的简单介绍
weixin_30478619的博客
08-10 804
Sketch介绍 为什么要用Sketch 网络流主要根据五元组、主机地址、包的大小来分类。在网络中存在各种各样的包，如果按照上述分类方法，对每一种包都分配一个计数器来储存，虽然测量准确，那么存放计数器的空间开销会非常大。所以使用哈希的方法，根据哈希值的范围来确定的所需的存储空间，各种包根据哈希值再次归类，可以大大减少存储空间。这样使用哈希来估计流的方法称为Sketch-based方法。 Cou...
基于sketch的网络测量方法介绍
weixin_44260459的博客
11-25 2889
一、背景 网络测量是SDN发展的重要基础。网络状态监测、网络故障分析、网络安全防御，乃至于网络智能化，都依赖于网络测量。作为网络测量前沿研究的主流，基于sketch的高速流量网络测量，是网络领域顶级会议SIGCOMM近两年的研究热点，包括SIGCOMM’17的 SketchVisor[1] 和SIGCOMM’18的SketchLearn[2]、ElasticSketch[3]等。 sketch的网络测量与SDN结合，具有天然特性。一方面，SDN云数据中心的大量部署，需要基于sketch的高速流量网络
网络测量
weixin_41955234的博客
09-27 697
散列函数hash函数的构造方法直接定址法相乘取整法平方取中法折叠法取余法随机数法处理冲突的方法开放定址法链地址法 hash函数的构造方法 类似于线性表、树、图等数据结构，散列也是一种数据结构。散列函数把消息或数据压缩成摘要，使得数据量变小，将数据的格式固定下来。 直接定址法 哈希函数：H(key)=3*key+7 Key 3 6 7 8 23 12 34 1 2 H(key) 16...
Sketch测量方法
m0_54947284的博客
07-20 524
​ Sketch是一类被广泛应用在网络测量领域的概率数据结构，用于记录多集合或流中元素的频率或估计其基数，且Sketch通常比输入的大小要小很多。基于Sketch的测量属于被动测量通常不发送任何探测包，也不会对网络造成额外开销，Sketch使用概要对感兴趣的信息进行有效的存储和检索，从而实现对活跃流的存在及体积信息的记录。
Online Sketching Hashing
qq2285580599的博客
06-14 344
摘要 最近，基于哈希的近似最近邻ANN搜索已经引起了广泛的关注。 这种方法有两个关键的问题： 1，首先，在真实的世界，数据是以流的数据传递，但是现今大多数的哈希方法是基于batch的。 2，其次，当数据集变得很大的时候，把所有的数据运送到内存是不可能的。 在这篇文章，我们采用矩阵素描的同时去处理这两个问题。矩阵素描就是通过很小的尺寸就可以 保持数据集的主要特征。通过一个小的素描尺寸，我们的方法可以用一个在线的方式学习哈希函数。 目前主要面临的问题 1，数据以流的方式持续可用。 2，随着数据
布隆过滤器（Bloom Filter）、布谷鸟过滤器（Cuckoo Filter)、商过滤器（quotient filter）(持续更新~~~~)
qq_43751200的博客
10-21 1960
布隆过滤器、布谷鸟过滤器、商过滤器
基于数据挖掘的网络安全中断发现与防御系统
制作和主办：Elsevier沙特国王大学学报基于数据挖掘的S. 新加坡河Aruna，D.Arunshunmugama，S.Jerina Catherine Joya，D....入侵检测系统系统调用Hellinger距离Hash函数Sketch数据集A B S T R A C T网络安全有
基于冲击图嵌入的形状偏差域推广
即图像卷积神经网络（CNN）的脆弱性，对图像破坏、扰动和对抗性攻击的敏感性这种形状偏差的相对缺乏也是Do- main泛化（DG）中性能不佳的原因包括形状的角色本文采用经典的计算机视觉方法，提出了一种明确而完整的...
基于草图的细粒度图像检索的预训练自监督方法
t.hospedales@ ed.ac.uk，{yongxin.yang，t.xiang，y.songsurrey.ac.uk}@www.example.com摘要预训练阶段微调阶段ImageNet预训练长期以来一直被细粒度基于草图的图像检索（FG-SBIR）社区认为是在本文中，我们提出了一...
Finding Frequent Items in Data Streams-计算机科学
04-22
Finding Frequent Items in Data StreamsMoses Charikar?1, Kevin Chen??2, and Martin Farach-Colton31 Princeton University moses@cs.princeton.edu2 UC Berkeley kevinc@cs.berkeley.edu3 Rutgers University and Google Inc. martin@google.comAbstract. We present a 1-pass algorithm for estimating the most fre- quent items in a data stream using very limited storage space. Our method relies on a novel data structure called a count sketch, which allows us to estimate the frequencies of all the items in the st
cuckoo filter
01-11
描述了cuckoo filter 算法的论文版本，比其他博客好多了
quotient_filter:商过滤器数据结构的实现
05-15
商过滤器 这是一个很小的库，它实现了。 它是一种概率数据结构，用于测试元素是否属于集合。
基于sketch的软件定义测量数据平面硬件模型
01-14
提出一种基于sketch数据结构的软件定义测量数据平面硬件模型，并在以现场可编程逻辑门阵列（FPGA）为核心的可编程网络设备NetMagic上进行了实现。利用部署在硬件FPGA高速SRAM中的通用sketch数据结构高效地采集数据平面流量数据，控制平面收集并缓存统计数据，提供给上层的测量应用使用。使用count-min sketch和2-universal散列函数实现了在高速流量下实时的分组处理和流量统计；使用Bloom filter在控制平面恢复流量的原始5元组信息，解决了sketch数据结构的不可逆问题。使用CERNET骨干网流量数据对原型系统进行的评估结果表明，该原型系统使用极其有限的硬件资源实现了对较大规模网络流量的实时测量，同时具备较好的测量精度。
"基于关系推理的语义新颖性检测
+v：mala2255获取更多论文基于关系推理的语义新颖性Francesco Cappio Borlino1，2，Silvia Bucci1，1和Tatiana Tommasi1， 21Politecnico di Torino，Corso Duca degli Abruzzi 24，10129都灵，意大利2意大利理工...
Sketch初见之QF
caoqh的博客
12-09 330
目录1.Quotient filter是什么1. Algorithm description[^2]2. Example for Quotient filter3. QF与BF的比较Paper2参考链接 1.Quotient filter是什么 Quotient filter是一种空间利用高效的基于概率的数据结构(probabilistic data structure PDS)，它可以验证一个元素是否在集合S中，使用近似成员查询滤波器(approximate member query filter AM
Fast 2D filter with low false positive for network packet inspection论文总结
桐青冰蝶Kiyotaka的博客
07-16 543
Fast 2D filter with low false positive for network packet inspection论文总结
网络流量分析sketch方法综述
最新发布
07-27
网络流量分析（Network Traffic Analysis）是指对网络数据流量进行监控、收集、分析和解释的过程。而网络流量分析中的sketch方法是一种快速而高效的数据结构和算法，用于处理大规模网络流量数据。 Sketch方法的主要目标是通过对流量数据进行采样和聚合，以减少存储和计算的需求，同时保持尽可能高的准确性和可用性。Sketch方法通常由两个主要组件组成：哈希函数和计数器数组。 首先，哈希函数将流量数据映射到计数器数组中的索引位置。这样做的目的是将大量的数据映射到有限的计数器数量上，从而实现数据的压缩和降维。 接下来，计数器数组根据哈希函数的映射结果进行计数更新。这些计数器以某种方式进行聚合，通常是通过增量更新或累加计数器的值。通过适当的聚合策略，我们可以获得流量数据的频率统计信息，如源IP地址、目的IP地址、协议类型等。 在网络流量分析中，使用sketch方法具有以下优势： 1. 高效的存储和计算：相比传统的存储和计算方法，使用sketch方法可以大大减少资源的消耗。通过对流量进行采样和聚合，可以在保持可接受精度的同时，降低存储和计算的需求。 2. 实时性：sketch方法可以在流量不断产生的情况下进行实时的统计和分析。由于其高效的计算和更新机制，可以快速生成最新的结果。 3. 可伸缩性：sketch方法可以适应大规模网络流量的需求。通过调整计数器数组的大小和哈希函数的选择，可以在不同的场景下灵活使用。 然而，sketch方法也存在一些限制，如精度较低、无法恢复原始数据等。因此，在实际应用中，需要根据具体需求和数据特点进行权衡和选择合适的sketch方法。 总而言之，网络流量分析中的sketch方法是一种高效而灵活的数据结构和算法，通过对流量数据进行采样和聚合，可以实现存储和计算的压缩，并提供实时的统计和分析结果。它在网络安全、流量管理和性能优化等领域具有广泛的应用前景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值