正态分布:数据呈现对称的钟形分布
左偏态:样本大量集中在均值右边(均值偏到了左边)
右偏态:样本大量集中在均值左边(均值偏到了右边)
处理方法:
- 右偏态:常用对数函数处理
- 左偏态:常用指数函数处理
通用变换方法:以降低数据的偏态系数为目标,使得数据分布更加接近正太分布的变换方法
yeo-johnson 变换:可以处理包含正数、负数和零的变量
box-cox变换:只能处理数值皆为正数的变量
# sklearn 中纠偏的方法
from sklearn.preprocessing import PowerTransformer
# 参数讲解
# method = 'yeo-johnson' or 'box-cox’
# 使用pipeline进行纠偏过程的整合
from sklearn.linear_model