线性回归（linear regression）

假设有线性函数：

        

可写成:

                             

其中x0 = 0;

定义代价函数为：

        

当然，有时也会写成1/2m，这就是最小二乘法。

我们的任务就是选择合适的θ使得代价函数J最小。考虑梯度下降：

考虑一个只有一个训练例子的时候，即m=1，则有：

对于单个的样本，更新规则为：

对于所有的样本，更新规则为：

因为它每次更新一个参数θj的时候都需要全部的样例m，所以也叫做批量梯度下降（bgd）,还有一个方法称为随机梯度下降（sgd），每次都只用一个样本来更新所有的参数

sgd：

还有一种小批量梯度下降法（Mini-batch Gradient Descent，简称MBGD），是这两个方法的折中

三种梯度下降方法的总结

1.批梯度下降每次更新使用了所有的训练数据，最小化损失函数，如果只有一个极小值，那么批梯度下降是考虑了训练集所有数据，是朝着最小值迭代运动的，但是缺点是如果样本值很大的话，更新速度会很慢。

2.随机梯度下降在每次更新的时候，只考虑了一个样本点，这样会大大加快训练数据，也恰好是批梯度下降的缺点，但是有可能由于训练数据的噪声点较多，那么每一次利用噪声点进行更新的过程中，就不一定是朝着极小值方向更新，但是由于更新多轮，整体方向还是大致朝着极小值方向更新，又提高了速度。

3.小批量梯度下降法是为了解决批梯度下降法的训练速度慢，以及随机梯度下降法的准确性综合而来，但是这里注意，不同问题的batch是不一样的，听师兄跟我说，我们nlp的parser训练部分batch一般就设置为10000，那么为什么是10000呢，我觉得这就和每一个问题中神经网络需要设置多少层，没有一个人能够准确答出，只能通过实验结果来进行超参数的调整。

可以利用最大似然函数来证明最小二乘法的可行性。