总体样本上的梯度下降
模型仍然还是y=wx
数据集:
x | y |
---|---|
1.0 | 2.0 |
2.0 | 4.0 |
3.0 | 6.0 |
4.0 | ? |
在总体代价函数上使用梯度下降
代码部分:
# Author:gt
# CreatTime:2021/10/29
# FileName:lesson2.py
#总体样本随机梯度下降算法
#使用梯度下降的方法找到代价函数的最小值
#从这里已经可以开始看到梯度下降和反向传播的雏形
#第一步
#准备数据集
x_train=[1.0,2.0,3.0]
y_train=[2.0,4.0,6.0]
#参数赋初值
w=1.0
#前向传播函数(模型)
def forward(x):
return x*w
#代价函数(用的是总体样本的平均代价函数)
def cost(xs,ys): #传入的是总体样本列表
cost=0
for x,y in zip(x_train,y_train):
y_pre=forward(x)
cost+=(y_pre-y)**2
return cost/len(xs)
#梯度下降(仍然是在总体样本上执行) dcost/dw=1/n*[2*x1(x1*w-y1)+2*x2(x2*w-y2)+2*x3(x3*w-y3)]
def gradient(xs,ys):
grad=0
for x,y in zip(xs,ys):
grad+=2*x*(x*w-y)
return grad/len(xs)
print('Predict(before training)',4,forward(4))
for epoch in range(100):
cost_val=cost(x_train,y_train) #计算每次的损失以便查看当前损失大小
grad_val=gradient(x_train,y_train)#进行梯度计算,求导数
w-=0.01*grad_val#更新参数
print('Epoch:',epoch,'w=',w,'loss=',cost_val)
print('Predict(after training)',4,forward(4))
运行结果:
训练后得到比较好的w值,约等于1.99994
输出大约为7.9997
完结,撒花,接下来到随机梯度下降。