此前我们进行了梯度下降法的推导,所引用的基本公式为
现在我们根据梯度下降法解决实际问题:
其实我们每次更新的迭代,要遍历训练数据中所有的样本进行计算,如果我们的样本非常大,比如数百万到数亿,那么计算量异常巨大。因此,我们需要重新更新算法使每次更新的迭代,只计算一个样本。这样对于一个具有数百万样本的训练数据,完成一次遍历就会对更新数百万次,效率大大提升,因此我们设置一个for循环进行循环迭代从而进行进一步的计算,次数不宜过多但也不宜过少,过多可能会超出范围,过少的话结果可能不会特别精确。
代码如下:
import numpy as np
global w0, w1, w2, g0, g1, g2, a # 设置全局变量,w为变量,g为梯度
w0 = 0
w1 = 0
w2 = 0
g0 = 1
g1 = 1
g2 = 1 # 设置初始值
a = 0.01 # a为学习率
def mysum(x1, x2):
# 定义初始函数
return w0 + w1 * x1 + w2 * x2
if __name__ == '__main__':
# 训练线性单元
x1 = np.array([2.104, 1.600, 2.400, 1.416, 3.000])
x2 = np.array([3, 3, 3, 2, 4])
t = np.array([4.00, 3.30, 3.69, 2.32, 5.40])
# 代入题目中的数,但是由于题目中的数比较大,需要用小数来进行表示
for i in range(1000): # 1000为迭代次数
w0 = w0 - a * (mysum(x1[i % 5], x2[i % 5]) - t[i % 5])
g0 = (mysum(x1[i % 5], x2[i % 5]) - t[i % 5])
w1 = w1 - a * (mysum(x1[i % 5], x2[i % 5]) - t[i % 5]) * x1[i % 5]
g1 = (mysum(x1[i % 5], x2[i % 5]) - t[i % 5]) * x1[i % 5]
w2 = w2 - a * (mysum(x1[i % 5], x2[i % 5]) - t[i % 5]) * x2[i % 5]
g2 = (mysum(x1[i % 5], x2[i % 5]) - t[i % 5]) * x2[i % 5]
# 因为我们的题目中有五个数,所以对迭代次数取余数取5
while abs(g0) < a and abs(g1) < a and abs(g2) < a :
print(g0, g1, g2) # 输出最终的梯度g0,g1,g2
break
结果如下: