高度偏斜特征处理：log(x)、sqrt(x)、box-cox、Yeo-Johnson

一、概念

高度偏斜的特征 ： 数据分布不均匀、不对称的特征

处理之后：使其分布更接近正态分布或至少减少偏斜程度

二、处理方法

1、对数变换：log(x)

• 适用于右偏数据
• 压缩大值，拉伸小值

2、平方根变换：sqrt(x)

• 对右偏数据的效果比对数变换温和

3、Box-Cox变换

• 一种更通用的幂变换方法
• 可以处理各种程度的偏斜

4、Yeo-Johnson变换

• Box-Cox的扩展，可以处理负值和零

三、代码

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
from sklearn.preprocessing import PowerTransformer

# 设置随机种子以确保结果可重现
np.random.seed(42)

# 生成一个右偏（正偏）的数据集
data = np.random.lognormal(mean=0, sigma=1, size=10000)

# 计算关键统计量
min_val = np.min(data)
q1 = np.percentile(data, 25)
median = np.median(data)
q3 = np.percentile(data, 75)
max_val = np.max(data)

print(f"原始数据：")
print(f"最小值: {min_val:.2f}")
print(f"25%分位点: {q1:.2f}")
print(f"中位数: {median:.2f}")
print(f"75%分位点: {q3:.2f}")
print(f"最大值: {max_val:.2f}")
print(f"偏度: {stats.skew(data):.2f}")

# 对数变换
log_data = np.log(data)
# 平方根变换
sqrt_data = np.sqrt(data)
# Box-Cox变换
pt_bc = PowerTransformer(method='box-cox')
boxcox_data = pt_bc.fit_transform(data.reshape(-1, 1)).flatten()
# Yeo-Johnson变换
pt_yj = PowerTransformer(method='yeo-johnson')
yeojohnson_data = pt_yj.fit_transform(data.reshape(-1, 1)).flatten()

# 可视化
plt.figure(figsize=(15, 10))

# 原始数据
plt.subplot(231)
plt.hist(data, bins=50, edgecolor='black')
plt.title(u"原始数据分布",fontproperties=zhfont)
plt.xlabel(u'值',fontproperties=zhfont)
plt.ylabel(u"频率",fontproperties=zhfont)

# 对数变换后的数据
plt.subplot(232)
plt.hist(log_data, bins=50, edgecolor='black')
plt.title("对数变换",fontproperties=zhfont)
plt.xlabel("log(值)",fontproperties=zhfont)
plt.ylabel("频率",fontproperties=zhfont)

# 平方根变换后的数据
plt.subplot(233)
plt.hist(sqrt_data, bins=50, edgecolor='black')
plt.title("平方根变换",fontproperties=zhfont)
plt.xlabel("sqrt(值)",fontproperties=zhfont)
plt.ylabel("频率",fontproperties=zhfont)

# Box-Cox变换后的数据
plt.subplot(234)
plt.hist(boxcox_data, bins=50, edgecolor='black')
plt.title("Box-Cox变换",fontproperties=zhfont)
plt.xlabel("Box-Cox(值)",fontproperties=zhfont)
plt.ylabel("频率",fontproperties=zhfont)

# Yeo-Johnson变换后的数据
plt.subplot(235)
plt.hist(yeojohnson_data, bins=50, edgecolor='black')
plt.title("Yeo-Johnson变换",fontproperties=zhfont)
plt.xlabel("Yeo-Johnson(值)",fontproperties=zhfont)
plt.ylabel("频率",fontproperties=zhfont)

plt.tight_layout()
plt.show()

# 计算变换后的统计量
for name, transformed_data in [("对数变换", log_data), 
                               ("平方根变换", sqrt_data), 
                               ("Box-Cox变换", boxcox_data), 
                               ("Yeo-Johnson变换", yeojohnson_data)]:
    print(f"\n{name}后：")
    print(f"最小值: {np.min(transformed_data):.2f}")
    print(f"25%分位点: {np.percentile(transformed_data, 25):.2f}")
    print(f"中位数: {np.median(transformed_data):.2f}")
    print(f"75%分位点: {np.percentile(transformed_data, 75):.2f}")
    print(f"最大值: {np.max(transformed_data):.2f}")
    print(f"偏度: {stats.skew(transformed_data):.2f}")
    

四、结果

原始数据：
最小值: 0.02
25%分位点: 0.51
中位数: 1.00
75%分位点: 1.96
最大值: 50.72
偏度: 5.83


对数变换后：
最小值: -3.92
25%分位点: -0.67
中位数: -0.00
75%分位点: 0.67
最大值: 3.93
偏度: 0.00

平方根变换后：
最小值: 0.14
25%分位点: 0.71
中位数: 1.00
75%分位点: 1.40
最大值: 7.12
偏度: 1.78

Box-Cox变换后：
最小值: -3.91
25%分位点: -0.67
中位数: -0.00
75%分位点: 0.67
最大值: 3.91
偏度: -0.00

Yeo-Johnson变换后：
最小值: -2.18
25%分位点: -0.78
中位数: -0.03
75%分位点: 0.75
最大值: 2.57
偏度: 0.13