机器学习特征工程-特征预处理

1.什么是特征预处理

1.1 特征预处理定义

scikit-learn的解释
provides several common utility functions and transformer classes to change raw feature vectors into a representation that is more suitable for the downstream estimators.

通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程

• 为什么我们要进行归一化/标准化？

特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响（支配）目标结果，使得一些算法无法学习到其它的特征。

• 举例：约会对象数据

我们需要用到一些方法进行无量纲化，使不同规格的数据转换到同一规格

---

1.2 包含内容(数值型数据的无量纲化)

• 归一化
• 标准化

2. 归一化

2.1 定义

通过对原始数据进行变换把数据映射到(默认为[0,1])之间

2.2 公式

作用于每一列，max为一列的最大值，min为一列的最小值,那么X’’为最终结果，mx，mi分别为指定区间值默认mx为1,mi为0

那么怎么理解这个过程呢？我们通过一个例子:

问题：如果数据中异常点较多，会有什么影响？

归一化总结

注意最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性较差，只适合传统精确小数据场景。

---

3.标准化

3.1 定义

通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内

3.2 公式

作用于每一列，mean为平均值，σ为标准差

所以回到刚才异常点的地方，我们再来看看标准化

• 对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变
• 对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。

标准化总结

在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。

总结

什么是特征工程

定义

通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程

包含内容:

• 归一化
• 标准化

归一化

定义:

对原始数据进行变换把数据映射到(默认为[0,1])之间

总结:

鲁棒性比较差(容易受到异常点的影响)
只适合传统精确小数据场景(以后不会用你了)

标准化

定义:

对原始数据进行变换把数据变换到均值为0,标准差为1范围内

总结:

异常值影响小
适合现代嘈杂大数据场景