线性回归总结

回归模型的最终目标是建立自变量x和y之间的关系。线性回归采用一个高维的线性函数来尽可能的拟合所有的数据点，最简单的想法就是根据中心极限定理，最小化函数值与真实值误差的平方（概率解释-高斯分布加最大似然估计）

线性回归假设

线性回归假设误差服从正太分布，预测值y也服从正太分布。

线性回归推导

对数似然函数求最大值即为即均方误差，因此用这个值作为代价函数来优化模型在统计学的角度是合理的

中心极限定理

https://zhuanlan.zhihu.com/p/93738110
中心极限定理实际上是揭示了任意一个总体中样本均值的分布规律。

极大似然估计法

https://zhuanlan.zhihu.com/p/123974250
极大似然估计求解 最大值，与最小二乘法求解最小值等价，损失函数在导数为0的点取得最小值。

优化算法

损失函数、代价函数、目标函数、结构化风险
损失函数(Loss function)： 度量单样本预测的错误程度，损失函数值越小，模型就越好。
代价函数(Cost function): 度量全部样本集的平均误差。
目标函数(Object function): 代价函数和正则化函数，最终要优化的函数。
当模型复杂度增加时，有可能对训练集可以模拟的很好，但是预测测试集的效果不好，出现过拟合现象，这就出现了所谓的“结构化风险”。
常用的损失函数包括：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等；常用的代价函数包括均方误差、均方根误差、平均绝对误差等。

梯度下降法

https://www.cnblogs.com/lliuye/p/9451903.html
批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解

牛顿法&拟牛顿法

https://zhuanlan.zhihu.com/p/37524275

Ridge回归和LASSO回归

https://zhuanlan.zhihu.com/p/123974250
https://blog.csdn.net/qq_34531825/article/details/52689654
线性回归及L1、L2正则化区别与稀疏解