关闭

数据散布的度量

标签: 变异系数集中趋势
1145人阅读 评论(0) 收藏 举报
分类:

http://blog.csdn.net/pipisorry/article/details/72820982

考察评估数值数据散布或发散的度量。这些度量包括极差、分位数、四分位数、百分位数和四分位数极差。五数概括可以用盒图显示,它对于识别离群点是有用的。方差和标准差也可以指出数据分布的散布。

集中趋势

集中趋势(central tendency)在统计学中是指一组数据向某一中心值靠拢的程度,它反映了一组数据中心点的位置所在。集中趋势测度就是寻找数据水平的代表值或中心值,低层数据的集中趋势测度值适用于高层次的测量数据,能够揭示总体中众多个观察值所围绕与集中的中心,反之,高层次数据的集中趋势测度值并不适用于低层次的测量数据。

在统计学中,集中趋势(central tendency)或中央趋势,在口语上也经常被称为平均,表示一个概率分布的中间值。最常见的几种集中趋势包括算数平均数、中位数及众数。

一维资料的集中趋势可能有以下数种统计方法。

算数平均数 
观测值的总和除以观测值的个数,即{\displaystyle {\tfrac {x_{1}+x_{2}+x_{3}\ldots +x_{n}}{n}}}。常简称为平均数,也往往是背后概率分布的期望值之不偏估计。
中位数 
将所有观测值按大小排序后在顺序上居中的数值。
众数
出现最多次的观测值。
几何平均数 
观测值的乘积之观测值个数方根,即{\displaystyle (x_{1}\times x_{2}\times x_{3}\ldots \times x_{n})^{\frac {1}{n}}}
调和平均数 
观测值个数除以观测值倒数的总和,即{\displaystyle {\frac {n}{{\frac {1}{x_{1}}}+{\frac {1}{x_{2}}}+...+{\frac {1}{x_{n}}}}}}
加权平均数 
考虑不同群资料贡献程度不同时的算数平均数
截尾平均数英语Truncated_meantruncated mean) 
忽略特定比例或特定数值之外的极端值后所得的平均数。例如,四分平均数英语Interquartile_meaninterquartile mean)正是忽略25%前及75%后的资料后所得的算数平均数。
全距中点英语Midrangemidrange) 
最大值与最小值的算数平均数,即{\displaystyle {\frac {\min(x)+\max(x)}{2}}}
中枢纽英语Midhingemidhinge) 
第一四分位数与第三四分位数的算数平均数,即{\displaystyle {\frac {Q_{1}+Q_{3}}{2}}}
三均值英语Trimeantrimean) 
考虑三个四分位数的加权平均数,即{\displaystyle {\frac {Q_{1}+2Q_{2}+Q_{3}}{4}}}
极端值调整平均数英语Winsorized_meanwinsorized mean) 
以最接近的观测值取代特定比例的极端值后取得的算数平均数。举例来说,考虑10个观测值(由小到大排列为x_1{\displaystyle x_{10}})的情况下,10%的极端值调整平均数为
{\displaystyle {\frac {\overbrace {x_{2}+x_{2}} +x_{3}+x_{4}+x_{5}+x_{6}+x_{7}+x_{8}+\overbrace {x_{9}+x_{9}} }{10}}}
其中分别以x_2{\displaystyle x_{9}}取代了x_1{\displaystyle x_{10}}

以上的统计量在多维变数中仍可单独地被套用在各个维度上进行,但并不能保证在转轴后仍维持一致的结果。

平均数、中位数与众数的关系

在左右对称的概率分布中,不同的集中趋势统计量有相同结果,但在偏度远离0时则可能不一致。在单峰型的概率分布(unimodal probability distribution)中,平均数(μ)、中位数(ν)与众数(θ)的关系如下:[4]

{\displaystyle {\frac {|\theta -\mu |}{\sigma }}\leq {\sqrt {3}}}
{\displaystyle {\frac {|\nu -\mu |}{\sigma }}\leq {\sqrt {0.6}}}
{\displaystyle {\frac {|\theta -\nu |}{\sigma }}\leq {\sqrt {3}}}

其中σ标准偏差。至于任一概率分布,[5][6]

{\displaystyle {\frac {|\nu -\mu |}{\sigma }}\leq 1}

[wikipedia 集中趋势]

偏度

概率论统计学中,偏度衡量实数随机变量概率分布的不对称性。偏度的值可以为正,可以为负或者甚至是无法定义。

在数量上,偏度为负(负偏态)就意味着在概率密度函数左侧的尾部比右侧的长,绝大多数的值(包括中位数在内)位于平均值的右侧

偏度为正(正偏态)就意味着在概率密度函数右侧的尾部比左侧的长,绝大多数的值(但不一定包括中位数)位于平均值的左侧。

偏度为零就表示数值相对均匀地分布在平均值的两侧,但不一定意味着其为对称分布。

lz正如 贾俊平的书:右偏分布,说明数据存在极大值,拉动均值向极值一方靠近。也就是说正偏态(右偏)是指数据极大值在正(右)的那一侧

负偏态(左)和正偏态(右)

如果分布对称,那么平均值=中位数,偏度为零(此外,如果分布为单峰分布,那么平均值=中位数=众数)。

随机变量X的偏度γ1为三阶标准矩,可被定义为:

\gamma _{1}=\operatorname {E} {\Big [}{\big (}{\tfrac {X-\mu }{\sigma }}{\big )}^{\!3}\,{\Big ]}={\frac {\mu _{3}}{\sigma ^{3}}}={\frac {\operatorname {E} {\big [}(X-\mu )^{3}{\big ]}}{\ \ \ (\operatorname {E} {\big [}(X-\mu )^{2}{\big ]})^{3/2}}}={\frac {\kappa _{3}}{\kappa _{2}^{3/2}}}\ ,

其中μ3是三阶中心矩,σ是标准差。E是期望算子。等式的最后以三阶累积量与二阶累积量的1.5次方的比率来表示偏度。这和用四阶累积量除去二阶累积量的平方来表示峰度的方法向类似。

如果假定Yn个独立变量之和并且这些变量和X具有相同的分布,那么Y的三阶累积量是Xn倍,Y的二阶累积量也是Xn倍,所以: {\mbox{Skew}}[Y]={\mbox{Skew}}[X]/{\sqrt {n}}。根据中心极限定理,当其接近高斯分布时变量之和的偏度减小。

右偏态分布,均值>中位数>众数

既然均值左侧的数比较多,对比中位数左右两侧数一样多,则均值必在中位数的右侧(即这样围成面积才大于0.5)。
另外,lz认为右偏的图像围成面积为0.5的分界点应该在峰值点(众数)的右侧,所以中位数大于众数。(实际上应该是中位数>=众数吧,举个极端的示例就知道了,如[1...2,2,2,2,2,...,10000])

贾俊平的书:右偏分布,说明数据存在极大值,拉动均值向极值一方靠近,而众数和中位数是位置的代表值,不受极值得影响。

峰度Kurtosis

在统计学中,峰度(Kurtosis)衡量实数随机变量概率分布的峰态。峰度高就意味着方差增大是由低频度的大于或小于平均值的极端差值引起的。

峰度是指数据分布的尖峭程度或峰凸程度。峰度大致有以下三种类型:
  ● 曲线更为隆起时,属于尖顶峰度。
  ● 当数据分布的频数,对众数来说比较分散,使频数分布曲线较正态分布曲线更为平滑的,属于平顶峰度。
  ● 当数据分布的频数,完全符合正态分布的规律,其频数分布曲线与正态分布曲线完全相同时,属于正态峰度。

峰度系数是离差四次方的平均数,再除以标准差的四次方。其计算公式为:
  正态分布检验之偏态与峰度
  式中,α4 :峰度系数 ,δ4:标准差的四次方。
  由于正态分布的峰度系数为3,所以,当α4>3为尖峰分布;当α4<为平顶分布

Note: lz所以峰度可以用来检测是否为正态分布。

另峰度也可以(wikipedia)被定义为四阶累积量除以二阶累积量的平方,它等于四阶中心矩除以概率分布方差的平方再减去3:

\gamma _{2}={\frac  {\kappa _{4}}{\kappa _{2}^{2}}}={\frac  {\mu _{4}}{\sigma ^{4}}}-3

这也被称为超值峰度(excess kurtosis)。“减3”是为了让正态分布的峰度为0。

假定Yn个独立变量之和,且这些变量和X具有相同的分布,那么:Kurt[Y] = Kurt[X] / n, 但如果峰度被定义为:μ4 / σ4,公式可变得更加复杂。

如果超值峰度为正,称为尖峰态(leptokurtic)。如果超值峰度为负,称为低峰态(platykurtic)。

峰度包括正态分布(峰度值=3),厚尾(峰度值>3),瘦尾(峰度值<3),均看尾部。如下图:

[wikipedia 峰度]

[正态分布检验之偏态与峰度]

皮皮blog




[概率论:均值、方差与协方差矩阵 ]

标准差(英语:Standard Deviation,SD)

数学符号 σ(sigma),在概率统计中最常使用作为测量一组数值的离散程度之用。标准差定义:为方差开算术平方根,反映组内个体间的离散程度;标准差与期望值之比为标准离差率。测量到分布程度的结果,原则上具有两种性质:

  1. 为非负数值;
  2. 与测量资料具有相同单位。

简单来说,标准差是一组数值自平均值分散开来的程度的一种测量观念。一个较大的标准差,代表大部分的数值和其平均值之间差异较大;一个较小的标准差,代表这些数值较接近平均值。从几何学的角度出发,标准差可以理解为一个从n维空间的一个点到一条直线的距离的函数。

重要的是,一个观测一般不会远离均值超过标准差的数倍。精确地说,使用不等式,可以证明最少的观测离均值不超过k个标准差。因此,标准差是数据集发散的很好指示器。

总体标准差

\ SD= \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \mu)^2}

\mu 为平均值({\overline {x}})。

总体为随机变量

随机变量X的标准差定义为:

\sigma = \sqrt{\operatorname{E}((X-\operatorname{E}(X))^2)} = \sqrt{\operatorname{E}(X^2) - (\operatorname{E}(X))^2}
须注意并非所有随机变量都具有标准差,因为有些随机变量不存在期望值。

离散随机变量的标准差

X是由实数x_{1}, x_{2}, ..., x_{n}构成的离散随机变数(英语:discrete random variable),且每个值的概率相等,则X的标准差定义为:

\sigma = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \mu)^2} ,其中  \mu = \frac{1}{N} (x_1 + \cdots + x_N)

然而若每个x_{i}可以有不同概率p_{i},则X的标准差定义为:

\sigma = \sqrt{\sum_{i=1}^N p_i(x_i - \mu)^2} ,其中 \mu = \sum_{i=1}^N p_i x_i.

样本的标准差

在真实世界中,找到一个总体的真实的标准差是不现实的。大多数情况下,总体标准差是通过随机抽取一定量的样本并计算样本标准差估计的。

从一大组数值X_1, \cdots, X_N当中取出一样本数值组合x_1, \cdots, x_n : n < N,常定义其样本标准差:

s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2}
[wikipedia 标准差]

皮皮blog



极差/全距

用来表示统计资料中的变异量数英语:measures of variation),为最大值最小值之间的差额,即最大值最小值后所得数值

R=xmax-xmin

全距为离散程度的最简单测度值,易受极端值影响。其适用于等距变数、比率变数,不适用于名义变数或次序变数。极差没有充分利用数据的信息,但计算十分简单,仅适用样本容量较小(n<10)情况。极差不能用作比较,单位不同 ; 方差能用作比较, 因为都是个比率。

移动极差(Moving Range)

是指两个或多个连续样本值中最大值与最小值之差,这种差是按这样方式计算的:每当得到一个额外的数据点时,就在样本中加上这个新的点,同时删除其中时间上“最老的”点,然后计算与这点有关的极差,因此每个极差的计算至少与前一个极差的计算共用一个点的值。一般说来,移动极差用于单值控制图,并且通常用两点(连续的点)来计算移动极差。

四分位数(Quartile)

四分位数(Quartile)是统计学中分位数的一种,即把所有数值由小到大排列并分成四等份,处于三个分割点位置的数值就是四分位数。

  • 第一四分位数 (Q1),又称“较小四分位数”,等于该样本中所有数值由小到大排列后第25%的数字。
  • 第二四分位数 (Q2),又称“中位数”,等于该样本中所有数值由小到大排列后第50%的数字。
  • 第三四分位数 (Q3),又称“较大四分位数”,等于该样本中所有数值由小到大排列后第75%的数字。

四分位数值的选择(存在不同标准)

1 主要选择四分位的百分比值(p),及样本总量(n)有以下数学公式可以表示:

L_{p}=(n)\left({\cfrac  {p}{100}}\right)
  • 情况1: 如果 L 是一个整数,则取 第 L 和 第 L+1 的平均值
  • 情况2: 如果 L 不是一个整数,则取下一个最近的整数。(比如 L=1.2, 则取 2 )

2 n表示项数

确定四分位数的位置

Q1的位置= (n+1) × 0.25
Q2的位置= (n+1) × 0.5
Q3的位置= (n+1) × 0.75
3 另外一种方法基于N-1 基础。即
Q1的位置=1+(n-1)x 0.25
Q2的位置=1+(n-1)x 0.5
Q3的位置=1+(n-1)x 0.75

四分位距(InterQuartile Range, IQR)

第三四分位数与第一四分位数的差距又称四分位距(InterQuartile Range, IQR)。

四分位距通常是用来构建箱形图,以及对概率分布的简要图表概述。对一个对称性分布数据(其中位数必然等于第三四分位数与第一四分位数的算术平均数),二分之一的四分差等于绝对中位差(MAD)。中位数是聚中趋势的反映。

IQR=Q_{3}-Q_{1}

[wikipedia 四分位数]

变异系数/离散系数Coefficient of Variation

在概率论和统计学中,变异系数,又称“离散系数”,也被称为标准离差率或单位风险,是概率分布离散程度的一个归一化量度,其定义为标准差\ \sigma 平均值\ \mu 之比[1]

c_v = {\sigma \over \mu }

变异系数(coefficient of variation)只在平均值不为零时有定义,而且一般适用于平均值大于零的情况。

当需要比较两组数据离散程度大小的时候,如果两组数据的测量尺度相差太大,或者数据量纲的不同,直接使用标准差来进行比较不合适,此时就应当消除测量尺度和量纲的影响,而变异系数可以做到这一点,它是原始数据标准差与原始数据平均数的比。

变异系数只对由比率标量计算出来的数值有意义。举例来说,对于一个气温的分布,使用开尔文或摄氏度来计算的话并不会改变标准差的值,但是温度的平均值会改变,因此使用不同的温标的话得出的变异系数是不同的。也就是说,使用区间标量得到的变异系数是没有意义的。

[wikipedia 变异系数]

皮皮blog



皮皮blog

from: http://blog.csdn.net/pipisorry/article/details/72820982

ref:


0
0
查看评论

中心趋势度量和度量数据散布

一 中心趋势度量 中心趋势度量主要包括:均值,中位数,众数,中列数 例:属性salary(单位千美元),以递增方式排列:30,31,47,50,52,52,56,60,63,70,70,110 1:均值 数据集中心最常用,最有效的数值度量是(算术)均值 对于上面的例子:均值为58 在...
  • xiaoyu4009
  • xiaoyu4009
  • 2015-06-16 16:27
  • 1162

Scatter matrix(散布矩阵)

nn 个 mm 维的样本,Xm×n=[x1,x2,…,xn]X_{m\times n}=\left[\mathrm x_1,\mathrm x_2,\ldots,\mathrm x_n\right],样本均值定义为:x¯=1n∑i=1nxi \bar {\mathrm x}=\f...
  • lanchunhui
  • lanchunhui
  • 2016-11-24 19:35
  • 1407

建立有效的软件度量过程

从软件企业的观点出发,软件度量(Software Measurement)是通过各种不同的量度(metric)对软件生命周期中的各个元素进行度量(Measure),它能够为项目管理者提供有关项目的各种重要信息,同时也是进行大多评估活动的基础。 通常度量程序是由一些软件工程组在组织中进行实施,而这种...
  • mack415858775
  • mack415858775
  • 2014-09-27 16:33
  • 1140

重要的软件测试度量和度量指标(1)——附带例子和图表

在软件项目中,最重要的就是测量质量,成本, 项目和流程的有效性。如果没有测量,项目不能算真正的完成。 这篇文章,我们将会结合例子和图表—学习软件测试度量和测量指标以及怎样在软件测试流程中使用它们。   这里有一句名言:“我们无法测量我们不能控制的东西”。 ![这里写图片描述](http://i...
  • huayuQA
  • huayuQA
  • 2016-11-30 12:07
  • 2463

闲谈项目管理之度量篇

 度量很重要,地球人都知道。一个很简单的例子,有人问你:贵庚呀?你回答:1. 刚刚跨入中老年行列; 2. 三十出头;3. 三十一。 显然,第三个答案是最准确最能说明问题的。度量的重要性,不用说,大家都知道。可是,该度量什么?如何度量?度量的数据如何使用?这些都是让人头痛的问题。以下是我的一...
  • JonathanHuang
  • JonathanHuang
  • 2008-01-18 16:26
  • 956

散布矩阵(Scatter Matrix)

参考网页:http://en.wikipedia.org/wiki/Scatter_matrix 译文转载自:http://blog.csdn.net/breeze5428/article/details/25612763 因为最近需要用到散布矩阵做数据分析,因此在此做些关于散布矩阵的小...
  • Twenty_seven
  • Twenty_seven
  • 2017-04-13 20:15
  • 685

统计学 数据的概括性度量

第四章 数据的概括性度量数据分布的特征可以从三个方面进行测度和描述:一是分布的集中趋势,反映各数据向其中心值靠拢或聚集的程度;二是分布的离散程度,反映各数据远离其中心的趋势;三是分布的形状,反映数据分布的偏态和峰态。4.1 集中趋势的度量4.1.1 分类数据:众数众数(mode)是一组数据中出现次数...
  • liuxuan251314
  • liuxuan251314
  • 2017-10-18 18:07
  • 172

敏捷方法中采集的度量数据

在敏捷方法中,要求度量的数据少之又少,可谓简单实用: 规模: (1)故事点:用以估算工作量、度量开发效率。 工作量:   (2) 计划的工作量:用以排定项目计划。   (3) 剩余任务的计划工作量:用以跟踪项目进展。 效率: (4)开发速度:每次迭代完成的需求的规模(...
  • bamboolsu
  • bamboolsu
  • 2015-02-25 18:17
  • 622

测试过程分析的15个常用度量元

测试过程分析的15个常用度量元序号优先级度量对象度量元度量单位采集周期采集/计算方法分析方法作用11用户发现的各类型的缺陷缺陷个数个交付阶段维护阶段直接统计80-20分析:对缺陷类型按缺陷个数排序,找出客户发现的最多的20%的缺陷类型分析客户的关注点是什么?为什么客户能发现这些类型的缺陷,为什么我们
  • dylanren
  • dylanren
  • 2009-12-08 15:21
  • 1194

pandas的scatter_matrix散布矩阵图如何理解

Q: 如何理解问题3中给出的图?如何分析关联性、变量分布?A: 这张图分为两部分:对角线部分和非对角线部分。 对角线部分: 核密度估计图(Kernel Density Estimation),就是用来看某 一个 变量分布情况,横轴对应着该变量的值,纵轴对应着该变量的密度(可以理解为出现频次)。...
  • grape875499765
  • grape875499765
  • 2017-12-12 15:02
  • 141
    个人资料
    • 访问:3642912次
    • 积分:30698
    • 等级:
    • 排名:第194名
    • 原创:569篇
    • 转载:30篇
    • 译文:5篇
    • 评论:316条
    Welcome to 皮皮blog~

    博客专栏
    最新评论