线性回归算法要点

线性回归算法要点

1.损失函数（代价函数）为凸函数，能取到最小值点；
2.梯度下降法：
1）多个变量同时更新
2）会自动选取较小的幅度进行迭代
3）特征数值相差很大时，使用特征缩放方法，将特征缩放到一个区间内
4）步长α选取很重要。α过大可能导致损失函数增大，过小可能导致迭代缓慢
3.正规方程法：
由于正规方程法需要对矩阵求逆，所以不适用于大量数据的情况，但相比于梯度下降法，不需要选择步长，不需要迭代