什么是长尾分布

已于 2024-03-13 15:29:55 修改
阅读量469 收藏 11
点赞数 7
文章标签： 深度学习
于 2024-03-13 15:14:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kiong_/article/details/136681114
版权

就是说把样本按每类的数量从高到低排列，前面少数几类占据了(绝)大多数样本，而后面的很多类占据了少数样本。

  • 比如， 在电商这块，淘宝、拼多多、抖音和京东这几个企业占据了市场的80%，苏宁易购、美团和其他小企业等还有许多小众许多网购平台占据后面的20%。是说什么呢，就是说多数资源被少数类别占据，剩下的少数资源被大多类占据。

再比如，有一些样本，包含A、B、C、D和E五种关系。按照他们的数量多少排序如下：

  • A：1000
  • C：200
  • B：40
  • D：10
  • E：3
    A和C占据了绝大多数样本，B 、D、E这些更多的类占据少数样本。看下图，B、D和E像一个长尾巴。
    在这里插入图片描述

我说明白了吗？

没有？

哦。反正我是写给自己的。

生菜模拟器
关注
图像长尾分布(Long-Tail Distribution)问题
AI天才研究院
07-12 446
在等常用视觉数据集中，由于经过人工预筛选，图像中的不同目标类别的数量是接近的。而在实际的视觉应用中，数据集大多服从，即少数类别(称为)占据绝大多数样本，多数类别(称为)仅有少量样本。一个典型的长尾分布数据集(商标数据集)如下图所示。定义数据集的**不平衡率(imbalance ratio)**为类别的最大数量和最小数量之比。
一文理解偏态数据和偏态分布、长尾数据分布、数据异常值分析与处理
最新发布
叶庭云 成为自己的光
06-27 654
一文理解偏态数据和偏态分布、长尾数据分布、数据异常值分析与处理
长尾分布数据
Harry_Jack的博客
11-23 1万+
长尾分布数据1 1. 什么是长尾分布数据 长尾分布数据是一种偏态分布，是指几个类别（亦叫头类）包含大量的样本，而大多数类别（亦叫尾类）只有非常少量的样本。 类似这样的数据集会使得深度学习网络在头部类中表现良好，在尾部类中效率不高，整体的识别精度显著下降。 2. 解决办法 大多数研究者通过不平衡学习策略来解决长尾识别问题，主要分为两类：数据级方法和算法级方法。 数据级方法 数据水平的策略包括尾部类过采样，头部类欠采样，以及其他新的抽样方法。所以解决手段主要着力于如何对数据进行抽样。这种方法存在的问题是，过采
长尾分布数据的理解
wzk4869的博客
03-02 3230
长尾分布数据的理解
长尾分布
小卜妞的博客
04-01 2188
在统计学中，幂律是两个量之间的函数关系，其中一个量的相对变化导致另一个量的相对相对变化，与这些量的初始大小无关：一个量随另一个量的变化而变化。例如，考虑到其边长的方形面积，如果长度加倍，则该面积乘以因子4。 长尾是一些统计分布的长期特征（如Zipf，幂定律，Pareto分布和一般Lévy分布）的名称。在“长尾”分布的高频或高振幅人口之后是低频或低振幅人口逐渐“尾部关” 渐近。尾部远端的事件发生概率非常低。 根据经验，对于此类人口分布，大多数事件（超过一半，帕累托原则适用的地方，80％）由分布中的前20％项目
长尾分布（Long-tailed Distribution）
幼儿园大哥~
06-23 819
长尾分布是重尾分布的一个子类型，其特点是分布的尾部较长，即存在大量的极端值。这些极端值在分布中的出现概率较低，但它们的存在对整体分布的特性有显著影响。长尾分布是统计学和概率论中的一个重要概念，用于描述一组数据中尾部包含较多极端值的情况。它具有慢衰减、幂律分布等特点，并在经济学、互联网、信息检索和推荐系统等领域得到广泛应用。在互联网时代，长尾分布现象更加普遍，对商业策略、市场分析和产品设计等方面产生了深远影响。
长尾分布(long-tailed distributions)
薛铁钢的博客
09-14 8898
如果把不同类别的数据按照出现的频率从高到低进行排序，就会得到一条递减的曲线。在曲线的头部，数据出现的频率很高，随着数据的出现频率逐渐降低，曲线也逐渐下降，缓慢趋近于横轴，看起来就像拖着一条长长的尾巴。
长尾分布 long-tail distribution
hxxjxw的博客
03-11 2092
实际上，在稳定分布家族中，除了正态分布，其他均为长尾分布。 长尾分布指少部分的类别占据了大部分样本数量，大部分类别只占据很少的样本。head类别主导训练过程 解决方法： data re-sampling loss re-weighting 其他方法（transfer learning meta learning） ...
CVPR20 长尾分布.pptx
05-09
CVPR2020 长尾分布的特征表示， 长尾分布在深度学习中的应用，论文推荐等的学习笔记 以及下一次分享时间。
【CVPR 2021】解决目标检测长尾分布：Adaptive Class Suppression Loss for Long-Tail Object Detection
梁瑛平的博客
07-10 1725
本文设计了一种新的自适应类抑制损失（ACSL）来有效地解决目标检测长尾分布问题，提高了尾类的检测性能。具体来说，本文引入了一个无需统计的方法来分析长尾分布，从而打破了手工分组的局限性。 根据这一观点，本文的 ACSL 自适应地调整了每个类别的每个样本的抑制梯度，确保了训练的一致性，并提高了对罕见类别的区分。......
长尾分布系列论文解析（一）Decoupling Representation and Classifier for Long-Tailed Recognition
罟霖同学的站点
11-21 2760
长尾分布系列论文解析：分类问题中的长尾分布。论文名:Decoupling Representation and Classifier for Long-Tailed Recognition
长尾分布（long-tail distribution）和长尾效应
热门推荐
mengmeng6666的博客
09-04 3万+
长尾分布（long-tail distribution）和长尾效应 1、长尾效应 作者：赵澈 链接：https://www.zhihu.com/question/20027490/answer/20420381 来源：知乎 长尾效应其实是幂率分布的通俗提法，在物理上也被称为无标度现象，这种现象在自然界与社会生活中都相当地常见，可参考幂律分布_互动百科。里面也提到之所以叫无标度，是因为「系统中个体的尺度相差悬殊，缺乏一个优选的规模」。 如下图这般，极少数个体（横轴）对应极高的值（纵轴），而拥有极低值的个体，数
长尾分布原理
shajie的博客
03-13 1414
一个均衡的数据集固然大大简化了对算法鲁棒性的要求，也一定程度上保障了所得模型的可靠性，但随着关注类别的逐渐增加，维持各个类别之间均衡就将带来指数增长的采集成本。 长尾分布数据：就是少数类别有大部分数据，而多数类别只有小部分数据。 直接利用长尾数据来训练的分类和识别系统，往往会对头部数据过拟合，从而在预测时忽略尾部的类别。如何有效的利用不均衡的长尾数据，来训练出均衡的分类器就是我们所关心的问题，从工业需求上来说，该研究也将大大地提升数据采集的速度并显著降低采集成本。 常用的解决方法： ..
长尾分布论文笔记：BBN
qq_43428929的博客
03-02 2009
1.网络结构图作者已经发现使用re-balancing方法可以提高模型性能，但是使用该方法会导致特征提取层模型性能下降。故作者想要结合这两个方法的优势，来进一步提高模型性能。作者的办法是使用一种累计学习策略，先学习通用模式，然后逐渐关注尾部数据。这里简单介绍一下这个网络的流程。首先通过两个部分共享的双分支网络，输入一个是具有长尾分布的数据集xcyc(x_c,y_c)xc​yc​，另一个是通过reverse操作后的数据集xryr(x_r,y_r)xr​yr​。
长尾分布定义，举个物种长尾分布和词频长尾分布的例子。
weixin_43501408的博客
01-11 809
在词频长尾分布的例子中，可以举出某个语料库中的词汇频率分布。例如，在一个英语语料库中，少数几个单词可能占据了大部分的文本中出现次数，而其他许多单词可能只出现很少的次数。例如，在一个生态系统中，少数几个物种可能占据了大部分的生物个体数量，而其他许多物种可能只占据了很少的个体数量。长尾分布是一种概率分布的类型，它描述的是一种极端事件或者稀有事件的发生概率。具体来说，长尾分布描述的是少量的类别占据了大部分的样本数量，而大部分类别只占据很少的样本。问题描述：长尾分布定义，举个物种长尾分布和词频长尾分布的例子。
长尾分布系列论文解析（三）On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond
罟霖同学的站点
11-21 968
长尾分布系列论文解析第三篇：关注多域学习中的长尾分布问题。相关论文：On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond
重尾分布，长尾分布，肥尾分布 和 随机游走 （Heavy-tailed, Long-tailed, Fat-tailed distribution and Random walk）
michael0xie1的博客
05-18 1109
https://blog.csdn.net/dymodi/article/details/54231728
python的长尾分布函数库
09-08
Python中有一些常用的长尾分布函数库，可以用于生成、处理和分析长尾分布数据。下面列举了一些常用的长尾分布函数库： 1. numpy：是Python中常用的科学计算库之一，提供了各种用于生成和处理长尾分布数据的函数，例如指数分布、幂律分布和对数正态分布等。 2. powerlaw：是一个用于分析和拟合幂律分布的Python库。它支持多种拟合方法，并提供了一些用于模型评估和可视化的功能。 3. scipy.stats：是Python中用于统计分析的库，其中提供了一些常见的长尾分布函数，如韦伯分布、广义帕累托分布和负指数分布等。它还提供了一些用于拟合参数和生成随机数的函数。 4. seaborn：是一个基于matplotlib的库，提供了一些用于可视化统计数据的函数。它支持绘制各种长尾分布的图表，如直方图、密度图和盒图等。 5. matplotlib：是Python中常用的绘图库，它可以用于绘制各种长尾分布的图表，如直方图、散点图和箱线图等。 这些长尾分布函数库可以帮助我们生成符合长尾分布的数据、拟合参数，以及进行统计分析和可视化。通过使用这些库，我们可以更好地理解和探索长尾分布的性质和特征，进而应用于相应的领域和问题中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值