机器学习中对变量数据进行Log变化

最新推荐文章于 2023-08-13 18:46:27 发布

农夫左三拳

最新推荐文章于 2023-08-13 18:46:27 发布

阅读量9.5k

点赞数 3

分类专栏：机器学习算法 python

本文链接：https://blog.csdn.net/lvchunyang66/article/details/103709328

版权

在机器学习中，若数据不满足正态分布，可通过Log变换使其接近正态分布，以优化模型效果。偏度是衡量数据分布不对称的指标，Python的skew()函数可计算偏度。对于偏度较大的特征，使用numpy的log1p()函数进行预处理，能有效压缩数据并避免复值问题。最终预测后，通过expm1()函数进行数据还原。

摘要由CSDN通过智能技术生成

机器学习算法中，一些算法要求数据符合正态分布，但是对于一些标签和特征来说，分布不一定符合正态分布，这个要怎么处理呢？
一个现在比较常见的方式是将数据进行Log变换，即取对数，这样可以使得数据在一定程度上符合正态分布的特征。
效果如下图所示：
（转换前）
在这里插入图片描述
（转换后）

计算偏度较大的features
偏度，是统计数据分布偏斜方向和程度的度量，是统计数据分布非对称程度的数字特征。偏度亦称偏态，偏态系数。
其计算公式为：

在python中用skew()计算特征分布的偏度，

#log transform skewed numeric features:
#找出df中数值型的变量
numeric_feats = all_data.dtypes[all_data.dtypes != 'object'].index
skewed_feats = all_data[numeric_feats].apply(lambda x: skew(x.dropna()))
#compute skew