梯度下降算法

早都接触了梯度下降算法，但是总搞得我似懂非懂，这个的确是和梯度有关系，但是我觉得关系没有那么大，只要了解了导数的意义就可以完全搞定这个算法的理解了。网上有很好的资料，我这里拿来也引用下吧。先给个图

我们知道当前最小点应该是在B点，

假如我现在在A点，知道A点此时的偏导数应该是小于0，也就是A点斜率是小于0的，那么此时应该往A的右边找B才对，也就是A的横坐标+A点导数的相反数。

假如我现在在B点，知道B点此时的偏导数是大于0的，那么此时B应该在C的左边，也就是B+C点导数的相反数。

好了基本的思路我们已经明白了，其实就是给定一个当前点，来找当前点的偏导数，让下一步的自变量取值为：当前自变量的值+当前点的偏导数的相反数，为了效率高一点，我们一般是让当前自变量的值+当前点的偏导数的相反数再乘以一个步长。当某连续两点之间的函数值小于一定的阈值，那么基本就定下来了最小值大概是什么了。

这是一个2维的图形很容易明白，对于多维的也是如此。我这里给了一个x^2+y^2的matlab的演示代码，可以直接看到点是怎么在做迭代接近最小值的。

具体的matlab代码如下：

%绘制出来最原始的方程的图像，方程为f=x^2+y^2；定义域分别设置成为[-10, 10]，然后随便的设置一个初始点以及迭代的值和步长，来查看使用梯度下降算法的迭代过程%
[x, y] = meshgrid(-10:0.5:10, -10:0.5:10);
z = x.^2 + y.^2;
mesh(x, y, z);

%分别求x和y的偏导数%
%dx = 2*x;
%dy = 2*y;
%设置x，y的初始值，并且每步骤更新的值都加入到这个记录中来，第一个是初始值，为了迭代方便设置下第二个元素的值
record_values = [-9;-9]; 
%设置每次更新的步长%
step = 0.2;
%设置迭代次数%
count = 20;

%开始迭代%
for i=1:count
    current_x = record_values(1,i);
    current_y = record_values(2,i);
    temp = [current_x - step*2*current_x, current_y - step*2*current_y];
    %把temp附加到record_values后面%
    record_values(:, i+1) = temp;
end

%计算出来点绘制出来这些点按照顺序连线%
hold on;
x_values = record_values(1,:);
y_values = record_values(2,:);
z_values = x_values.*x_values + y_values.*y_values;
plot3(x_values, y_values,z_values, 'k--o');

%我们知道当x,y等于0的时候是最小点，标示出来%
plot3(0, 0, 0, 'rp');

缺点：其实根据上面的分析就可以知道，要想达到比较好的结果，步长和收敛值都不能太大，尤其是步长，否则会在两点之间来回选择，以至于根本找不到最优解。对于非凸的问题，可能找到得到只是局部最小值。