@R星校长
第2
关:非线性转换
- 为什么要非线性转换。
- 映射到均匀分布。
- 映射到高斯分布。
为什么要非线性转换
在上一关中已经提到,对于大多数数据挖掘算法来说,如果特征不服从或者近似服从标准正态分布(即,零均值、单位标准差的正态分布)的话,算法的表现会大打折扣。非线性转换就是将我们的特征映射到均匀分布或者高斯分布(即正态分布)。
映射到均匀分布
相比线性缩放,该方法不受异常值影响,它将数据映射到了零到一的均匀分布上,将最大的数映射为1
,最小的数映射为0
。其它的数按从小到大的顺序均匀分布在0
到1
之间,如有相同的数则取平均值,如数据为np.array([[1],[2],[3],[4],[5]])
则经过转换为:np.array([[0],[0.25],[0.5],[0.75],[1]])
,数据为np.array([[1],[2],[9],[10],[2]])
则经过转换为:np.array([[0],[0.375],[0.75],[1.0],[0.375]])
。第二个例子具体过程如下图:
在sklearn
中使用QuantileTransformer
方法实现,用法如下:
from sklearn.preprocessing import QuantileTransformer
import numpy as np
data = np.array([[1],[2],[3],[4],[5]])
quantile_transformer = QuantileTransformer(random_state=666)
data = quantile_transformer.fit_transform(data)
>>>data
array([[0.<