随机梯度下降算法（SGD）

何为随机梯度下降？

在scikit-learn官方文档中有着这样的定义：是一种简单但又非常高效的方法，主要用于凸损失函数下线性分类器的判别式学习，例如(线性) 支持向量机 和 Logistic 回归。

在百度百科中对梯度下降法的解释：梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。

以函数y=x²为例，"U"型的样式，假设U型的左侧（或者右侧）存在一个点A。现在A需要到达U型的最低端，那么点A只能一步一步地移动，直到它觉得所到的位置是最低点为止（前后两个点的误差最小，即达到收敛条件）。显然，如果函数存在多个极值点，这个方法是不适用的。

对于一元函数来说，应该如何算出它的最低点呢？采用数值计算极值的思想：选择一个初始点，计算该点的导数，然后通过导数和步长推进到下一个点，直到两个点之差很小为止（达到收敛条件）。
以函数 y = x**2 为例：

import numpy as np
import matplotlib.pyplot as plt

def targetFunc(x):
    return   x**2

def  gradientFunc(x):
    return 2*x

listx = []
def gradientCal(guessX,targetFunc,gradientFunc,rating=0.1,tolent=0.000001):
    '''
    :param initX:猜测的点
    :param targetFunc: 目标函数
    :param gradientFunc: 导函数，梯度函数
    :param rating: 步进系数
    :param tolent: 收敛条件
    :return:  返回极值点x的值
    '''
    newguessX = targetFunc(guessX)  # 猜测点的实际值
    gradientX = gradientFunc(guessX) # 猜测点的导数

    newX = guessX - rating*gradientX # 获取新的x值
    newResult = targetFunc(newX) # 获取新的x的值的实际值

    subResult = np.abs( newResult