梯度上升法，梯度下降法

一个多元函数的梯度方向是该函数值增大最陡的方向。
例如求二次函数的最小值，这里采用梯度下降法：

---

梯度下降法的思想：假设现在要求上图中函数f（x）的最小值，先选择一个初始点，下一个点的产生是沿着梯度直线方向（本函数求最小值是沿着梯度负方向，若求最大值则沿着梯度方向）

为什么叫梯度上升和梯度下降呢？个人理解是沿着梯度的方向上升（向上走）叫梯度上升，沿着梯度的方向下降（向下走）叫梯度下降。那这里的梯度是什么呢？

---

梯度上升法的基本思想是：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。
什么意思，举个例子，假如你想以最快的速度爬到山顶，你应该怎样选择每一步，答案是选择坡度较陡的地方，越陡峭的地方，上升就越快，如果你沿着山上的公路往山顶走肯定是最慢的，因为公路一般都是之字形坡度较缓。同理可有梯度下降，法梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。
下面给出梯度下降法的迭代公式：

其中的参数：
表示梯度的负方向
表示步长
公式的意思是：下一个点是由当前点向方向移动

---

思考：梯度下降法，梯度上升法在分类数据点时为什么能起作用？