为什么要对特征进行归一化?
- 一句话描述:为了使特征在一个数量级上。
就拿身高体重来举例,某人1m8,体重135斤,显然这种统计方法是不合适的,由于数量级不同使得身高体重的权重不同。应该把它们都归一化到同一数量级上。
如果不归一化,不同变量的损失梯度图可能会呈现一个椭圆,这样在梯度下降的时候迭代次数会比较多;归一化后损失的等高线图就是一个园,任意一点的切线方向便是梯度下降的方向,这样便减少了迭代次数,加快了模型训练。
归一化的方法有哪些?
-
1、线性函数归一化
x = x − x m i n x m a x − x m i n x=\frac{x-x_{min}}{x_{max}-x_{min}} \quad x