Python梯度下降法

此前我们进行了梯度下降法的推导，所引用的基本公式为

现在我们根据梯度下降法解决实际问题：

其实我们每次更新的迭代，要遍历训练数据中所有的样本进行计算，如果我们的样本非常大，比如数百万到数亿，那么计算量异常巨大。因此，我们需要重新更新算法使每次更新的迭代，只计算一个样本。这样对于一个具有数百万样本的训练数据，完成一次遍历就会对更新数百万次，效率大大提升，因此我们设置一个for循环进行循环迭代从而进行进一步的计算，次数不宜过多但也不宜过少，过多可能会超出范围，过少的话结果可能不会特别精确。

代码如下：

import numpy as np

global w0, w1, w2, g0, g1, g2, a  # 设置全局变量，w为变量，g为梯度
w0 = 0
w1 = 0
w2 = 0
g0 = 1
g1 = 1
g2 = 1  # 设置初始值
a = 0.01  # a为学习率

def mysum(x1, x2):
    # 定义初始函数
    return w0 + w1 * x1 + w2 * x2

if __name__ == '__main__':
    # 训练线性单元
        x1 = np.array([2.104, 1.600, 2.400, 1.416, 3.000])
        x2 = np.array([3, 3, 3, 2, 4])
        t = np.array([4.00, 3.30, 3.69, 2.32, 5.40])
    # 代入题目中的数，但是由于题目中的数比较大，需要用小数来进行表示

for i in range(1000):   # 1000为迭代次数
    w0 = w0 - a * (mysum(x1[i % 5], x2[i % 5]) - t[i % 5])
    g0 = (mysum(x1[i % 5], x2[i % 5]) - t[i % 5])
    w1 = w1 - a * (mysum(x1[i % 5], x2[i % 5]) - t[i % 5]) * x1[i % 5]
    g1 = (mysum(x1[i % 5], x2[i % 5]) - t[i % 5]) * x1[i % 5]
    w2 = w2 - a * (mysum(x1[i % 5], x2[i % 5]) - t[i % 5]) * x2[i % 5]
    g2 = (mysum(x1[i % 5], x2[i % 5]) - t[i % 5]) * x2[i % 5]
    # 因为我们的题目中有五个数，所以对迭代次数取余数取5

    while abs(g0) < a and abs(g1) < a and abs(g2) < a :
        print(g0, g1, g2)     # 输出最终的梯度g0,g1,g2
        break

 结果如下：