梯度下降算法

梯度下降就是一开始找一个随机的w值，然后带入进去计算损失，最后w减去本次的梯度后绘图

import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]


def forward(w, x, y):
    # 梯度函数，计算本次迭代需要下降的梯度
    return 2 * x * (w * x - y)


def cost(w):
    # 计算损失值函数
    cost_sum = 0
    for x_val, y_val in zip(x_data, y_data):
        cost_sum -= x_val * w - y_val
    return cost_sum


w_list = []
mse_list = []

w = -100
for i in range(30):
    loss_sum = 0
    for x_val, y_val in zip(x_data, y_data):
        # 计算所有x值对应的梯度然后求和再求平均
        loss_sum += 0.1 * forward(w, x_val, y_val)
    # 输出一下损失值
    cost_data = cost(w)
    print("\tw=", w, "\tcost=", cost(w))
    w_list.append(i + 1)
    # 把损失值加入列表，用来绘图
    mse_list.append(cost_data / len(x_data))
    w -= loss_sum / len(x_data)

# 绘图
plt.plot(w_list, mse_list)
plt.ylabel("Loss")
plt.xlabel("w")
plt.show()