回归模型的最终目标是建立自变量x和y之间的关系。线性回归采用一个高维的线性函数来尽可能的拟合所有的数据点,最简单的想法就是根据中心极限定理,最小化函数值与真实值误差的平方(概率解释-高斯分布加最大似然估计)
线性回归假设
线性回归假设误差服从正太分布,预测值y也服从正太分布。
线性回归推导
对数似然函数求最大值即为即均方误差,因此用这个值作为代价函数来优化模型在统计学的角度是合理的
中心极限定理
https://zhuanlan.zhihu.com/p/93738110
中心极限定理实际上是揭示了任意一个总体中样本均值的分布规律。
极大似然估计法
https://zhuanlan.zhihu.com/p/123974250
极大似然估计求解 最大值,与最小二乘法求解最小值等价,损失函数在导数为0的点取得最小值。
优化算法
损失函数、代价函数、目标函数、结构化风险
损失函数(Loss function): 度量单样本预测的错误程度,损失函数值越小,模型就越好。
代价函数(Cost function): 度量全部样本集的平均误差。
目标函数(Object function): 代价函数和正则化函数,最终要优化的函数。
当模型复杂度增加时,有可能对训练集可以模拟的很好,但是预测测试集的效果不好,出现过拟合现象,这就出现了所谓的“结构化风险”。
常用的损失函数包括:0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等;常用的代价函数包括均方误差、均方根误差、平均绝对误差等。
梯度下降法
https://www.cnblogs.com/lliuye/p/9451903.html
批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解
牛顿法&拟牛顿法
https://zhuanlan.zhihu.com/p/37524275
Ridge回归和LASSO回归
https://zhuanlan.zhihu.com/p/123974250
https://blog.csdn.net/qq_34531825/article/details/52689654
线性回归及L1、L2正则化区别与稀疏解