吴恩达2022机器学习专项课程C1W2：1.23 多元线性回归的梯度下降

问题预览/关键词

1. 多元线性回归的函数是？如何向量化表达？
2. 如何计算多元线性回归的成本函数的梯度？
3. 正规方程法是什么？
4. 正轨方程法的缺点是什么？

笔记

1.多元线性回归函数

5.1章节描述过。

• 向量化函数
  
• 原版函数
  

2.计算多元线性回归的成本函数的梯度

• 我们要分别计算每个w参数的梯度并分别更新。
  
• i表示第几行训练样本，有下角数字对应第几列特征，5.1章节的多元特征符号有详细描述。
  
• 如果计算w1，误差乘以第i组训练样本的第一个特征，乘积结果求和。如果计算w2，误差乘以第i组训练样本的第二个特征，乘积结果求和。如果计算wn，误差乘以第i组训练样本的第n个特征，乘积结果求和。

3.正规方程法

一种不需要迭代的算法，无需梯度下降，可以找到最佳w和b，一些机器学习库会用这种方法。

4.正规方程法缺点

无法推广到其他类型的学习算法，只适用于线性回归问题，对于特征数量巨大的数据集计算非常慢。

总结

多元线性回归和单元线性回归的公式很相似，需要注意的是，单元线性回归只更新一个w，而多元线性回归需要更新多个w。计算w的导数项过程中，单元线性回归只会乘以不同行的一列特征，而多元线性回归会根据更新的w，乘以不同行里对应w的多列特征，例如w1对应第一列，w2对应第二列。