[deeplearning-001] stotisticks gradient descent随机梯度下降算法的最简单例子解释

1.gradient descent梯度下降优化

1.1假设要优化一个函数$f(x)=(x-1)^2$求它的最小值。这个函数在$x=1$ 时有最小值，这是解析解。如果用梯度下降法，是这样的：
$f^{'}(x)=2(x-1)$
每一步的迭代公式是：
$x_{i+1}=x_{i} - \eta f^{'}(x_{i})$ （为什么是减号？因为是求最小值，如果是求最大值，就是加号）
如果$\mid x_{i+1}-x_{i} \mid < 0.1$则精度足够，终止计算。

1.2 初始值$x_{0} = 5$ ，$\eta = 0.8$（初始值可以随便设，但$\eta$ 需要经验性地选择一下，步长太大可能会引起不收敛，步长太小会慢，更复杂一点可以搞个自适应的计算方式以调优）
1.3 第1步：
x1=x0−ηf′(x