线性回归linear regression

1. 损失函数：均方误差

2. 使用梯度下降法求解$\theta$

3. 正规方程法$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$，没有正则化项

4. 如何解决非线性的问题
   方法1：推广到多项式回归
   方法2：核函数，前提是ridge回归，即加了$L_2$正则化
   表示定理：凡是进行$L_2$正则化的线性问题都可以使用核函数的技巧。但是！！！通常不采用这个方法，因为每个样本点都必须参与核计算，这带来的计算复杂度是相当高的。！！！！！并不像SVM一样具有稀疏解！！！
   方法3：局部加权线性回归

5. 通过极大化对数似然可以推导出最小二乘
   独立同分布假设，${\epsilon }_i$服从均值为0，方差为${\sigma }^2$的高斯分布。

扩展：如果机器学习模型使用梯度下降法求最优解时，归一化往往非常有必要，否则很难收敛甚至不能收敛

[1] 表示定理的证明
https://blog.csdn.net/qq_34993631/article/details/79345889
[2] 局部加权线性回归
https://www.cnblogs.com/czdbest/p/5767138.html

https://blog.csdn.net/wyl1813240346/article/details/78562654
[3] 特征归一化
https://www.zhihu.com/question/274640730/answer/376781767