自己对gradient的误解-----理解gradient descend算法

ref: http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html

首先，对于f(x)的gradient，如果x是k维，则gradient就是k维，就是在x的domain里，gradient的方向会使得f(x)的增加最快。

注意这里的gradient并不是两个cross black point 之间的方向，这个方向是3维的。而是在2维投影平面中的一个方向，即   

                                                       

这张图就可以看出，对于一个f(x,y)函数，其gradient，只是在x-y平面里的方向

这样理解gradient descent就通顺了。每个参数can be updated below