线性回归（Linear Regression）

• 线性回归采用的损失函数是什么？

均方误差MSE:

---

• 最小二乘/梯度下降手推

推导预备知识：

从此处来：最小二乘法及矩阵求导 - 简书

最小二乘：

• 损失函数：

• 求导可得：

---

• 介绍下岭回归

就是加入L2正则化的线性模型，实际上是一种改良的最小二乘法。

---

• 什么时候使用岭回归

样本数少或者是样本重复程度高的时候使用。

---

• 什么时候用Lasso回归

特征过多，稀疏线性关系，目的为了在一堆特征里面找到主要特征。