PyTorch深度学习实践

总体样本上的梯度下降

模型仍然还是y=wx

数据集：

x	y
1.0	2.0
2.0	4.0
3.0	6.0
4.0	？

在总体代价函数上使用梯度下降

代码部分：

# Author:gt
# CreatTime:2021/10/29
# FileName:lesson2.py
#总体样本随机梯度下降算法
#使用梯度下降的方法找到代价函数的最小值
#从这里已经可以开始看到梯度下降和反向传播的雏形
#第一步
#准备数据集
x_train=[1.0,2.0,3.0]
y_train=[2.0,4.0,6.0]

#参数赋初值
w=1.0
#前向传播函数（模型）
def forward(x):
    return x*w

#代价函数(用的是总体样本的平均代价函数)
def cost(xs,ys):  #传入的是总体样本列表
    cost=0
    for x,y in zip(x_train,y_train):
        y_pre=forward(x)
        cost+=(y_pre-y)**2
    return cost/len(xs)
#梯度下降(仍然是在总体样本上执行) dcost/dw=1/n*[2*x1(x1*w-y1)+2*x2(x2*w-y2)+2*x3(x3*w-y3)]
def gradient(xs,ys):
    grad=0
    for x,y in zip(xs,ys):
        grad+=2*x*(x*w-y)
    return grad/len(xs)
print('Predict(before training)',4,forward(4))
for epoch in range(100):
    cost_val=cost(x_train,y_train) #计算每次的损失以便查看当前损失大小
    grad_val=gradient(x_train,y_train)#进行梯度计算，求导数
    w-=0.01*grad_val#更新参数
    print('Epoch:',epoch,'w=',w,'loss=',cost_val)
print('Predict(after training)',4,forward(4))

运行结果：

训练后得到比较好的w值，约等于1.99994
输出大约为7.9997

完结，撒花，接下来到随机梯度下降。