机器学习笔记之回归算法（一）线性回归

1. 假设函数

2. 损失函数

根据损失函数求解最优的假设函数（θ值），即求解一个凸优化问题。即对损失函数求导，令导数为0，求解θ值。

3. 梯度下降算法

从初始的θ值开始按照以下的形式不断更新，即从初始θ（随机初始化）按照梯度方向（使J下降最快的方向）变化。α称为学习率或步长。

其中偏导的部分：

对于单个样本：

上式称为最小均方算法（Least mean square，LMS算法）。

推广到多个样本：

将上式称为批梯度下降。

- 批梯度下降（batch gradient descent）

线性回归时做面临的最优化问题仅有一个全局最优解。
批梯度下降算法执行过程：

- 随机梯度下降算法（Stochastic Gradient Descent, SGD）

在该算法中计算梯度时使用仅仅一个样本计算，而批梯度下降算法则需要扫描整个训练集。所以通常随机梯度下降算法比梯度下降算法收敛速度更快。
执行过程：

4. 广义线性模型

考虑单调可微函数g()，令

这样得到的模型称为“广义线性模型”，其中函数g()称为“联系函数”。