多变量的梯度下降算法
1、 公式:
θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))x(i)j
θ
j
:=
θ
j
−
α
1
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
x
j
(
i
)
后面一项已经是偏导的结果
2、如果不同特征向量取值范围差距过大,使用梯度下降的方法可以效果并不好,这时可以采用尺度缩放的方法,将所有的特征向量都缩放至-1到+1的范围之内,便于使用梯度下降法
更普遍的归一化方法:
xi−μs
x
i
−
μ
s
,其中
μ
μ
为特征向量的均值,
s
s
为最大值减去最小值,也就是特征向量的取值范围
正规方程法
使用特征向量构造矩阵X,则最终参数的式子为:
这样也不需要正规化特征向量
当
XTX
X
T
X
不可逆的原因:1)特征冗余2)太多的特征
小结:
实际上,当计算量越来越大时,梯度下降法仍然有效,但正规方程法会受到限制,因此需要根据实际进行取舍