3.1 特征缩放
有关特征缩放的网站介绍:https://en.wikipedia.org/wiki/Feature_scaling
特征缩放是一种用于标准化自变量或数据特征范围的方法。在数据处理中,也称为数据规范化,通常在数据预处理步骤中执行。
由于原始数据的取值范围变化很大,在一些机器学习算法中,如果不进行归一化,目标函数将无法正常工作。例如,许多分类器通过欧几里得距离计算两点之间的距离。如果其中一个要素具有广泛的值范围,则距离将由该特定要素控制。因此,应该对所有特征的范围进行归一化,以便每个特征对最终距离的贡献大致成比例。
应用特征缩放的另一个原因是梯度下降在使用特征缩放时比没有它时收敛得更快。[1]
如果将正则化用作损失函数的一部分,那么应用特征缩放也很重要(以便对系数进行适当的惩罚)。
3.1.1 最小-最大归一化(min-max normalization)
也称为最小-最大缩放或最小-最大标准化,重新缩放是最简单的方法,包括重新缩放特征范围在 [0, 1] 或 [-1, 1] 。选择目标范围取决于数据的性质。[0, 1] 的 min-max 的一般公式如下: