最近补了一些统计学的知识,大多都在这些年的学习中接触过,这里做个总结,以便回头方便看。
从以下几个方面对数值进行分析:
数值的位置
平均数与中位数
这个最常见的就是平均值和中位数了,平均值指的是数据在数值上的中心位置,是所有数和的平均,而中位数是一个样本序列在数值上的中间,序列长度为奇数是,中位数就是最中间的那个。我们可以吧平均数理解为样本序列在数学上的中间位置,把中位数理解为样本序列在物理上的中间位置。
加权平均数
ps,加权的样本序列就比普通的样本序列多了一维的信息量。
几何平均数
这是个很有意思的平均数,在之前并没有接触过,它是n个数值乘积的n次方根,既然是几何平均数,那小伙伴们可以把它放在欧几里得空间来理解它的意义。
众数
样本序列中出现次数最多的数,这个在一些基本算法的面试题中经常出现,比如怎么在海量数据中找出重复次数最多的一个?(这个主要是采用分而治之的思想,外加hash等方法,有兴趣的可以百度一下)
四分位数
四分位数是百分位数的一种特殊情况,但是这个数值的位置具有比较高的工程使用价值,在统计分析中出现频率很高,比如后边用到的箱形分析法等跟此关系很大。
数值的离散程度
3.样本方差是总体方差的无偏估计,标准差是方差的正平方根。
分布形态和相对位置
偏度
偏度为负值 = 数据左偏 = (平均数<中位数)
切比雪夫定理
异常点的检测
异常点也成为离群点(outlier),对于机器学习的小伙伴也不陌生,在统计工程上常用的方法有简单的统计量分析,比如最大值最小值是否超出合理的范围,还有就是比较经典的箱形法。
以上方法是基于统计的方法,其在多维数据上表现的很无力。除此之外还有基于位置,基于偏差和基于密度的方法。还有一些比较新的论文,是基于信息熵(Correntropy)和深度学习的异常点检测算法。有兴趣的小伙伴可以下一些论文看看。