梯度下降实现案例（含python代码）

基础：损失函数的定义，参考http://blog.csdn.net/l18930738887/article/details/50615029

目标：已知学习样本，求解预测函数的系数，希望损失函数取到最小值。

一、原理介绍：

假设我们已知门店销量为

门店数X	实际销量Y
1	13
2	14
3	20
4	21
5	25
6	30

我们如何预测门店数X与Y的关系式呢？假设我们设定为线性：Y=a0+a1X

接下来我们如何使用已知数据预测参数a0和a1呢？这里就是用了梯度下降法：

左侧就是梯度下降法的核心内容，右侧第一个公式为假设函数，第二个公式为损失函数。

其中 表示假设函数的系数，为学习率。

对我们之前的线性回归问题运用梯度下降法，关键在于求出代价函数的导数，即：

直观的表示，如下：