python 偏态分布调整_如何处理偏态数据

这是笔试/面试题系列的第2篇文章

在了解何为偏态数据前，要先从正态数据说起。

正态分布

正态分布是自然界中广泛存在的，我们都知道它是两头低，中间高，整个形态呈现对称钟形的一个分布，之所以叫正态分布，是因为在大量连续数据测量的情况下，我们比较希望看到这种状态，一个标准的正态分布是u(均值)=0，σ(标准差)=1。

从下图可以看出，横坐标代表随机变量X的一个取值，在均值(u=0)附近概率密度最大，越偏离均值，概率密度减小，不在(u-3σ,u+3σ)范围内的数据就属于统计学意义上的异常值了。

偏态分布

但是现实生活中总是会存在不是正态分布的情况，非正态分布，那就是偏态分布了，有两种，左偏(负偏态)和右偏(正偏态)，可以用偏度来描述，偏度>0，则频数分布的高峰向左偏移，呈右(正)偏态分布；偏度<0，则频数分布的高峰向右偏移，呈左(负)偏态分布；|偏度|>1，呈高度偏态，0.5" />

偏态分布的数据如何处理

对于偏态分布的数据，我们需要做一些处理使其变换为正态分布，常用的变换方式有对数变换：适用于相乘关系的数据、高度偏态的数据

平方根变换：适用于泊松分布(方差与均数近似相等)的数据、轻度偏态的数据

反正弦变换：适用于百分比的数据、中度偏态的数据

倒数变换1/x：适用于两端波动较大的数据

记得上上小节泰坦尼克数据分析中的fare字段吗，从偏度可以看出是一个很明显的右偏分布的数据

绘制直方图观察也是如此，这时就可以使用对数变换。

双击纵坐标，在弹出的【设置坐标轴格式】中选择对数刻度即可，比之前的右偏好多了。

总结

1 偏态是针对正态而言的

2 描述偏态的有偏度系数这个指标

3 偏态数据通常转换为正态分布的数据，用的较多的转换方式有对数和平方根

@ 作者：可乐

@ 公众号/知乎专栏/头条/简书：可乐的数据分析之路

@ 个人微信：data_cola