《百面机器学习》学习笔记:机器学习任务中对数值类型做特征归一化的必要性
需要使用梯度下降进行优化的方法中,一般都需要对数值类型特征进行特征归一化,因为这会影响到梯度下降的速度。为了更好地说明做数据归一化的必要性,首先给出标准梯度下降的推导公式。
例如,假设
x
1
∈
[
0
,
10
]
x_1\in[0,10]
x1∈[0,10],
x
2
∈
[
0
,
3
]
x_2\in[0,3]
x2∈[0,3],使用标准的梯度下降公式,假设如下所示为简单的线性模型:
h
(
θ
)
=
θ
0
+
θ
1
x
1
+
θ
2
x
2
+
.
.
.
+
θ
i
x
i
h(\theta) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + ... + \theta_ix_i
h(θ)=θ0+θ1x1+θ2x2+...+θixi
假设其损失函数为:
J
(
θ
)
=
1
2
[
h
t
(
x
)
−
y
]
2
J(\theta)=\frac{1}{2}[h_t(x)-y]^2
J(θ)=21[ht(x)−y]2
那么得到的梯度下降基本形式如下:
θ
n
+
1
=
θ
n
−
α
J
′
(
θ
)
\theta_{n+1}=\theta_{n}-\alpha J'(\theta)
θn+1=θn−αJ′(θ)
其中,
α
\alpha
α为学习率。然后,对损失函数最小化,需要对
J
(
θ
)
J(\theta)
J(θ)求导:
J
′
(
θ
)
=
∂
J
(
θ
)
θ
=
[
h
θ
(
x
)
−
y
]
×
h
θ
′
J'(\theta)=\frac{\partial J(\theta)}{\theta}=[h_{\theta}(x)-y] \times h'_{\theta}
J′(θ)=θ∂J(θ)=[hθ(x)−y]×hθ′
其中,
h
θ
′
=
x
h'_{\theta}=x
hθ′=x,那么可以得到:
J
′
(
θ
)
=
[
h
θ
(
x
)
−
y
]
×
x
J'(\theta)=[h_{\theta}(x)-y] \times x
J′(θ)=[hθ(x)−y]×x
即:
θ
n
+
1
=
θ
n
−
α
[
h
θ
(
x
(
i
)
)
−
y
(
i
)
]
×
x
(
i
)
\theta_{n+1}=\theta_{n}-\alpha[h_{\theta}(x^{(i)})-y^{(i)}]\times x^{(i)}
θn+1=θn−α[hθ(x(i))−y(i)]×x(i)
从上述推导过程可以看出,对目标函数中参数的更新速度,主要取决于学习率大小和 x x x中具有较大取值范围的变量 x i x^i xi,如果变量 x i x^i xi不进行归一化,那么将会导致到达最佳目标值的更多迭代次数。因此,对数值类型的特征值进行归一化是必要的,有利于加快找到目标函数最优解的速度。
正如《百面机器学习》这本书中提到的,也不是什么任务都可以使用数据归一化,对于线性回归/逻辑回归/支持向量机/神经网络等模型来说,归一化是必要的。但对于决策树模型则并不适用,因为决策树在划分节点时,需要根据数据集 D D D关于特征 x x x的信息增益比,而信息增益比对特征是否归一化是没有关系的。因为归一化并不会改变样本在特征 x x x上的信息增益。