线性回归

原理

损失函数，代价函数，目标函数

优化方法

evaluation 的指标

 

原理：

使用多项式线性函数来拟合，得到回归函数，可用于预测变量之间的相互关系。

 

有数据集,其中, 
其中n表示变量的数量，d表示每个变量的维度。
可以用以下函数来描述y和x之间的关系：

  ，然后去确定  的值，使得。

采用均方误差，均方根误差以及平均绝对误差作为评价指标，但无法消除变量量纲不一致所产生的影响。

但可以避免量纲不一致的问题。其中，

回归模型可以成功解释的数据方差部分在数据固有方差中所占的比例，越接近1，表示可解释力度越大，模型拟合的效果越好。

极大似然估计（从概率论统计学角度分析） ，采用均方误差作为性能度量。

 

loss function ：度量单样本 预测错误的程度。loss越小，模型越好。

cost function： 度量全部样本集的平均误差。

object function： 代价函数 and 正则化函数，最终需要优化的总的函数。

思考题：既然代价函数已经可以度量样本集的平均误差，为什么还要设定目标函数？

因为单纯用代价函数，会使训练函数收敛过慢，不利于最后模型的优化，添加正则项，给模型加一些规则限制，约束要优化参数，目的是防止过拟合。其中最常见的规则限制就是添加先验约束，其中L1相当于添加Laplace先验，L2相当于添加Gaussian先验。

 

优化方法：（基于凸优化问题）

梯度下降法

最小二乘法矩阵

拟牛顿法