机器学习中的特征工程 --- 特征预处理

一、简介

1.1 什么是特征预处理？

定义：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程。

特征1、特征2、特征3、特征4都是以最小值为0，最大值为1，其他的按最大值的比例进行计算。

1.2  为什么要进行归一化/标准化处理？

特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响目标结果，使得一些算法无法学习倒其他的特征。

二、计算过程

2.1 归一化

通过对原始数据进行变换把数据映射到（默认为[0, 1]）之间。

2.2 公式

 

 2.3 归一化总结

注意最大值最小值是变化的，另外，最大值与最小值非常容易受到异常点的影响（鲁棒性比较差），只适合传统精确小数据场景。

三、标准差

3.1 定义

通过对原始数据进行变换把数据变换到均值为0，标准差为1的范围内。

3.2 公式

 meam为平均值，σ为标准差。

对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变；

对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值得影响并不大，从而方差改变较小。