学习记录，梯度下降算法用来求解参数

紧接上一篇对logistic的学习
1**.梯度下降算法**。目的：使用梯度下降法来训练或学习训练集上的参数w和b，使得成本函数J(w,b)尽可能小的w和b
如下图，凸函数满足要求，最低点就是需要求的最小值，与局部最优解不同。

2.为了找到最好的参数值，我们要做的就是用某初始值 初始化 w 和 b 。对于logistic回归而言，几乎是任意的初始方法都有效，通常用0来进行初始化。
3.当不考虑b时，上图的三维图可以简化为下图，以w为例，为了求成本函数的最低点，需要一个迭代（重复）的过程，每次对w进行更新，定义：=为更新符号，α为学习率，每次计算后更新w, w等于w减去α乘以成本函数在w点的偏导函数值，最终能够得到成本函数J(w)的最小点，如下图所示，编码时使用dw表示成本函数在w点的偏导值，同理db表示成本函数在b点的偏导值。