Task01 线性回归

1、线性回归的原理

2、线性回归损失函数、代价函数、目标函数

3、优化方法(梯度下降法、牛顿法、拟牛顿法等)

4、线性回归的评估指标

5、sklearn参数详解

一、线性回归的原理

二、线性回归损失函数、代价函数、目标函数

• 损失函数(Loss Function)：度量单样本预测的错误程度，损失函数值越小，模型就越好。
• 代价函数(Cost Function)：度量全部样本集的平均误差。
• 目标函数(Object Function)：代价函数和正则化函数，最终要优化的函数。
  
  
  常用的损失函数包括：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等；
  常用的代价函数包括：均方误差、均方根误差、平均绝对误差等。

思考题：既然代价函数已经可以度量样本集的平均误差，为什么还要设定目标函数？

当模型复杂度增加时，有可能对训练集可以模拟的很好，但是预测测试集的效果不好，出现过拟合现象，这就出现了所谓的“结构化风险”。结构风险最小化即为了防止过拟合而提出来的策略，定义模型复杂度为J(F)，目标函数可表示为：

三、优化方法(梯度下降法、牛顿法、拟牛顿法等)

这个算法称为随机梯度下降法，随机梯度下降法的好处是，当数据点很多时，运行效率更高；缺点是，因为每次只针对一个样本更新参数，未必找到最快路径达到最优值，甚至有时候会出现参数在最小值附近徘徊而不是立即收敛。但当数据量很大的时候，随机梯度下降法经常优于批梯度下降法。

当J为凸函数时，梯度下降法相当于让参数