ref: http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html
首先,对于f(x)的gradient,如果x是k维,则gradient就是k维,就是在x的domain里,gradient的方向会使得f(x)的增加最快。
注意这里的gradient并不是两个cross black point 之间的方向,这个方向是3维的。而是在2维投影平面中的一个方向,即
这张图就可以看出,对于一个f(x,y)函数,其gradient,只是在x-y平面里的方向
这样理解gradient descent就通顺了。每个参数can be updated below