多变量的梯度下降算法
1、 公式：
θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))x(i)j
θ
j
:=
θ
j
−
α
1
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
x
j
(
i
)
后面一项已经是偏导的结果
2、如果不同特征向量取值范围差距过大，使用梯度下降的方法可以效果并不好，这时可以采用尺度缩放的方法，将所有的特征向量都缩放至-1到+1的范围之内，便于使用梯度下降法
更普遍的归一化方法：
xi−μs
x
i
−
μ
s
，其中
μ
μ
为特征向量的均值，
s
s
为最大值减去最小值，也就是特征向量的取值范围
正规方程法
使用特征向量构造矩阵X，则最终参数的式子为：
这样也不需要正规化特征向量
当
XTX
X
T
X
不可逆的原因：1）特征冗余2）太多的特征
小结：
实际上，当计算量越来越大时，梯度下降法仍然有效，但正规方程法会受到限制，因此需要根据实际进行取舍
290
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
