T-digest

最新推荐文章于 2024-09-03 09:06:39 发布
最新推荐文章于 2024-09-03 09:06:39 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： 数据流处理 Quantile估算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41648804/article/details/107474870
版权
本文介绍了T-digest算法，用于计算数据的分位数。该算法通过将数据聚合为簇来减少空间消耗，并通过调整簇的大小来控制误差界限。T-digest的特点在于其能够更精确地估算位于数据分布两端的分位数。文章涵盖了算法原理、空间消耗和错误界限，以及建立和查询T-digest的示例。
摘要由CSDN通过智能技术生成

目录

上一篇博客中讲述了使用 R a n d o m Random Random算法进行 q u a n t i l e quantile quantile估算，详情可见Random，本博客将讲诉另外一个 q u a n t i l e quantile quantile估算算法： T − d i g e s t T-digest T−digest，该算法理论基础可以参考Computing Extremely Accurate Quantiles Using t-Digest

算法

算法原理

该算法的思想是将输入数据表示缩减成簇的集合 { C i } 1 m \{C_{i}\}^m_1 { Ci​}1m​，每个簇表示为： ( C i , C c o u n t ) (C_i,C_{count}) (Ci​,Ccount​)， C i C_i Ci​表示该簇的中心，一般是等于簇中元素的平均值， C c o u n t C_{count} Ccount​则是该簇中对应的元素的数量。簇的大小极大影响了算法的准确率，假设簇的较大，则会导致结果误差偏大；假设簇的大小较小，则会导致结果准确，但另一方面计算的复杂度对增加。对于一般的问题而言，我们更加关注位于两端的 q u a n t i l e quantile qua

最低0.47元/天 解锁文章
爱吃香菜和葱
关注
专栏目录
t-digest:一种新的数据结构，用于精确在线累积基于等级的统计信息，例如分位数和修整后的均值
04-28
消化 一种新的数据结构，用于精确在线累积基于等级的统计信息，例如分位数和修整后的均值。 t-digest算法对并行程序也非常友好，使其在使用Apache Spark实现的map-reduce和并行流应用程序中很有用。 t-digest构造算法使用一维k-means聚类的变体来生成非常紧凑的数据结构，从而可以精确估计分位数。 这种t-digest数据结构可用于估计分位数，计算其他等级统计数据，甚至可估计相关的度量值（例如修整均值）。 在T-消化比以前的摘要用于此目的的优点是吨，全浮点分辨率-digest处理数据。 只需很小的变化， t- digest就可以处理任何有序集合中的值，对于这些值，我们可以计算出类似于均值的值。 尽管t-digest更为紧凑，特别是在序列化时，但t-digest产生的分位数估计的准确性可能比替代摘要算法产生的精度高几个数量级。 总之，t-digest的特别有趣的
tdigest:使用“ t-摘要”快速，准确的分位数
03-17
最简单的 使用“ t-摘要”快速，准确的分位数 描述 t-Digest构造算法使用一维k-means聚类的变体来生成非常紧凑的数据结构，从而可以精确估计分位数。 这种t-Digest数据结构可用于估计分位数，计算其他等级统计数据，甚至可估计相关的度量值，例如修整均值。 为此目的，t-Digest优于以前的摘要的优点是，t-Digest可处理具有完整浮点分辨率的数据。 由t-摘要产生的分位数估计的准确性可能比以前的摘要算法产生的分位数估计的准确性高几个数量级。 提供了从累积分布中创建和更新t-摘要和retreive分位数的方法。 有关t-摘要的更多详细信息，请参见。 锡里面是什么 实现了以下功能： as.list.tdigest ：将tdigest对象序列化为R列表，或将序列化的tdigest列表反序列化为tdigest对象 td_add ：将t-Digest的值添加到指定的计数中 td
探索数据的极限：tdigest，一个高效的数据摘要库
gitblog_00009的博客
06-21 369
探索数据的极限：tdigest，一个高效的数据摘要库 tdigestFast approximate quantiles in Go项目地址:https://gitcode.com/gh_mirrors/tdige/tdigest 在大数据处理领域，快速准确地获取数据的极端统计信息是一项挑战。今天，我们向您推荐一个强大的开源工具——tdigest，它专为近似量化而设计，即使面对庞大的数据流也能轻...
t-digest: 高效分布概要数据结构指南
gitblog_00539的博客
08-22 749
t-digest: 高效分布概要数据结构指南 t-digestA new data structure for accurate on-line accumulation of rank-based statistics such as quantiles and trimmed means项目地址:https://gitcode.com/gh_mirrors/tdi/t-digest 项目介绍...
ElasticSearch 如何使用 TDigest 算法计算亿级数据的百分位数？
taylor的专栏
04-19 2106
大家好，我是历小冰。 ElasticSearch 作为一个分布式的开源搜索和分析引擎，不仅能够进行全文匹配搜索，还可以进行聚合分析。 今天，我们就来了解一下其聚合分析中较为常见的 percentiles 百分位数分析。n 个数据按数值大小排列，处于 p% 位置的值称第 p 百分位数。比如说，ElasticSearch 记录了每次网站请求访问的耗时，需要统计其 TP99，也就是整体请求中的 99% 的请求的最长耗时。 近似算法 当数据量较小或者数据集中存储在同一位置时，进行类似 TP99 这样的百分位数分析就
t-digest:Python T-摘要模块
05-15
T-digest算法的Python实现 t-digest是一种在线聚类算法，用于近似基于排名的统计信息，例如中位数或分位数。 计算出的分位数的精度与q *（1- q）成正比，从而可以非常精确地估计极端分位数。 此外，此仓库包含该算法的演变-称为MergeDigest。 该算法由Ted Dunning首次提出。 可以在原始 或的找到更多信息。 安装 $ pip install git+https://github.com/trademob/t-digest.git 用法 from tdigest import TDigest from merge_digest import MergeDigest td = TDigest () td . add ( 0.54321 , 1 ) # adding new value to the storage ...
t-Digest算法在异常检测上的应用#随笔模式#
weixin_33834628的博客
09-19 1049
异常检测中的阈值设定问题异常检测通常有基于统计学习方法，基于机器学习方法，基于神经网络学习的方法等几种。统计学习方法主要是通过设定阈值来判断统计量是否超出，如果超出，则判定为异常，反之，正常。一般情况下，如果阈值选的较大，有可能出现漏报的情况，如果阈值选的较小，有可能出现误报的情况。（阈值的选定永远是误报与漏报之间的Tradeoff）阈值选择的两种策略Anomaly-Driven：异常检测系统中为...
t-digest-3.2-API文档-中英对照版.zip
06-12
赠送jar包：t-digest-3.2.jar； 赠送原API文档：t-digest-3.2-javadoc.jar； 赠送源代码：t-digest-3.2-sources.jar； 赠送Maven依赖信息文件：t-digest-3.2.pom； 包含翻译后的API文档：t-digest-3.2-javadoc-API...
t-digest-3.2.jar
03-01
t-digest-3.2.jar
藏经阁-Sketching Data With T-Digest.pdf
08-30
Sketching Data With T-Digest in Apache Spark Sketching Data With T-Digest in Apache Spark是Erik Erlandson在Red Hat, Inc.工作时关于T-Digest数据采样技术的讲解。T-Digest是一种高效的数据采样算法，可以...
t-digest源码
07-27
t-digest 最新源码分享，t-digest 最新源码分享t-digest 最新源码分享t-digest 最新源码分享t-digest 最新源码分享t-digest 最新源码分享t-digest 最新源码分享t-digest 最新源码分享t-digest 最新源码分享t-digest 最新源码分享t-digest 最新源码分享t-digest 最新源码分享t-digest 最新源码分享
tdigest:在线积累基于等级的统计信息，例如分位数和修整后的均值
05-19
最简单的 一种新的数据结构，用于精确在线累积基于等级的统计信息，例如分位数和修整后的均值。 参见原始论文：Ted Dunning和Otmar Ertl撰写的 概要 λ * Data. TDigest > median (tdigest [ 1 .. 1000 ] :: TDigest 3 ) Just 499.0090729817737 基准测试 使用50M指数分布的数字： 平均： 16s ； 不正确的中值近似值，主要是为了测量prng速度 使用vector-algorithms排序： 33s ； 使用1000MB的内存 激发t-消化（使用一些par ）： 53s 缓冲t-消化： 68s 连续t消化： 65s 直方图示例 tdigest-simple -m tdigest -d standard -s 100000 -c 10 -o output.svg -i 34 cp out
go-tdigest：golang中的T-Digest实现
02-02
T文摘 快速映射简化和并行流友好数据结构，可实现精确的分位数近似。 该软件包在Go中提供了Ted Dunning的t-digest数据结构的实现。 项目状态 该项目正在积极维护中。 如果功能和问题出现，我们很乐意就这些问题进行合作。 安装 我们的发布将按照方案进行标记和签名。 如果您使用诸如类的依赖项管理器，则推荐的正常处理方法是： go get github.com/caio/go-tdigest 否则，我们建议您使用以下内容，以免因API更改而冒险中断构建： go get gopkg.in/caio/go-tdigest.v2 用法示例 package main import ( "fmt" "math/rand" "github.com/caio/go-tdigest" ) func main () { // Analogue to tdigest.New(tdigest.Compression(100)) t , _ := tdigest . New () for i := 0 ; i < 10000 ; i ++ { // Analogue to t.A
探索T-Digest：分布式计算中的高效分布聚合神器
gitblog_00072的博客
03-24 541
探索T-Digest：分布式计算中的高效分布聚合神器 t-digestA new data structure for accurate on-line accumulation of rank-based statistics such as quantiles and trimmed means项目地址:https://gitcode.com/gh_mirrors/tdi/t-digest ...
探秘TDigest：一个高效分布式的统计摘要库
gitblog_00040的博客
04-27 441
探秘TDigest：一个高效分布式的统计摘要库 tdigestt-Digest data structure in Python. Useful for percentiles and quantiles, including distributed enviroments like PySpark项目地址:https://gitcode.com/gh_mirrors/tdi/tdigest 是...
t-digest 开源项目教程
gitblog_00736的博客
08-22 910
t-digest 开源项目教程 t-digestA new data structure for accurate on-line accumulation of rank-based statistics such as quantiles and trimmed means项目地址:https://gitcode.com/gh_mirrors/tdi/t-digest 1. 项目的目录结构及...
实时计算工具库 stream-lib 分位数计算 T-Digest 求中位数
wwq_vracle的博客
07-12 2044
图片来源https://dataorigami.net/blogs/napkin-folding/19055451-percentile-and-quantile-estimation-of-big-data-the-t-digest 中位数、95% 分位数，这类计算在描述性统计中很常见。相较于平均数，中位数不会受到异常值的影响，但它的计算过程比较复杂，需要保留所有具体值，排序后取得中间位...
TDigest 开源项目指南
最新发布
gitblog_00539的博客
09-03 425
TDigest 开源项目指南 tdigestAn implementation of Ted Dunning's t-digest in Go.项目地址:https://gitcode.com/gh_mirrors/tdig/tdigest 一、项目目录结构及介绍 TDigest 是由 InfluxData 提供的一个用于高效聚合数据分布的算法实现，特别适用于大数据环境下的百分位数估算。以下是...
t-digest是什么算法
04-27
t-digest是一种用于高效计算数据分位数的算法。它可以在不需要存储所有数据的情况下，快速地计算出给定数据集中任意分位数的值。t-digest算法通过将数据分为多个小区间，并对每个小区间中的值进行统计和合并，来实现...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值