本文探讨了多变量线性回归的基本原理，包括使用θ参数预测输出的数学模型，以及通过梯度下降法优化这些参数的过程。文中详细介绍了特征缩放的重要性及其两种常见方法：除以最大值和均值归一化，以加速梯度下降的收敛。此外，还讨论了如何选择合适的学习速率α，并对比了梯度下降与正规方程法在求解θ参数上的优缺点。
1.多变量线性回归
h(x)=θ0x0+θ1x1+θ2x2+...+θnxn
h(x)=θt(t为矩阵的转正）*x
多元梯度下降
2.特征缩放
目的：提高梯度下降的收敛速度
特征缩放的标准：一般将特征近似地缩放到-1到1，不用严格为-1和1，但是太大或太小时就需要处理。
（1）除以最大值
左图是原始情况下，梯度下降的收敛；右图将变量除以最大值后，梯度下降的收敛。
（2）均值归一化
u1代表均值；s1代表范围，即最大值-最小值
3.选择合适的学习速率a
J(θ)随迭代次数变化。出现以上几种情况时，都可能是a值过大，需要选择较小的a值。
4.正规方程法 可不进行特征缩放
除迭代外另一种求θ得方法，可以一步求出θ的最优解。
公式：
X的构建：
梯度下降和正规方程优缺点比较： 比线性回归更复杂的算法时，一般还是梯度下降
扫一扫
372
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
