线性回归与梯度下降(gradient descent)算法

最近一段时间时间在看Caffe的架构和代码，在Blob的数据结构里面发现主要存储了两类内容：一类是数据data_,另一类是diff_。作为半路出家研究机器学习的我来说就大概了解了一下线性回归的基本内容，对梯度下降的方法也做了了解。好在两个部分内容都不是特别复杂，理解起来也不会太困难。

线性回归

参考（一）线性回归与特征归一化(feature scaling),作者写的很清楚，我就不再浪费时间了。

梯度下降

梯度的概念本身是从偏导中来的，梯度下降函数主要是构造误差函数，对误差函数求偏导的方式更新线性回归中的参数更新，从而得到全局最优解。我个人认为梯度下降算法的本质就在于沿着损失函数的反向尽可能地向真实值靠拢。
看了一些博客，然后这篇我觉得是讲的最透彻的（二）深入梯度下降(Gradient Descent)算法。
其中我和小马讨论了一下步长的问题。为什么步长选的比较大的时候结果会不收敛而不是左右跳动逐渐接近最优解呢？我想主要是因为两个原因：（1）在步长一定的情况下，迭代的参数值只能在最优解左右俩会跳动，与最优解始终保持距离（考虑对称性）;（2）距离最优解越远的地方梯度值会越来越大，更加导致了得到的参数愈发偏离最优解的方向。

但是问题来了，Caffe底层数据中的diff表征的梯度是什么呢？是不是很这里是相同的呢？目前我知道diff用于后向传播当中，但是具体怎么用嗨不清楚。等到以后弄明白了会回来更新的。