线性回归模型

（一）算法简介

1.模型：

PS：x0=1

2.学习策略：最小二乘方

3.优化算法：梯度下降

（1）批量梯度下降算法：

（2）随机梯度下降算法：

PS：批量梯度下降法需要在整个训练集上面计算梯度，若m较大时，运算量较大；随机梯度下降法只需要在一个样本上计算梯度，收敛速度比批量梯度下降法快，但是会在最优值附近震荡；在实际应用中，若训练集较大，采用的是随机梯度下降算法，虽然会在最优值附近震荡，但是实际效果也不错；

（二）概率解释

1.假设预测值与输入值具有以下关系：

其中：

2.已知输入以及参数，预测值的概率分布如下：

3.似然函数如下：

4.似然函数的log的形式如下：

最大似然函数等价于最小二乘方函数：

（三）局部加权线性回归

1.线性回归的算法步骤如下：

2.局部加权线性回归的算法步骤如下：

3.一般情况下，样本的权重如下：

意味着距离要预测的输入越近的样本点权重越大；

PS：parametric模型与non-parametric模型

（1）线性回归算法属于parametric模型，当训练得到参数后，只需要保留参数，就可以进行后续的预测任务了；

（2）局部线性回归算法属于non-parametric模型，每进行一次预测任务都要使用整个训练数据，因此该模型是基于训练数据的，每次都得重新训练参数；

（四）改进

1.岭回归（L2惩罚项）

2.lasso回归（L1惩罚项，稀疏性）

3.ElasticNet回归（L1,L2惩罚项）