反向传播

1

1.1使用pytorch计算梯度

'''
在PyTorch里，tensor是组成动态计算图的重要组成部分
tensor包含了data和grad，储存了权值和损失函数对权值的梯度
'''
import torch

x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]

w=torch.Tensor([1.0])   #注意要加方括号
w.requires_grad=True    #允许求导

#forward和loss函数用来构建计算图，不需要取tensor的data属性
#返回值都是tensor类型
def forward(x):
    return x*w  #值相乘

def loss(x,y):
    y_pred=forward(x)
    return (y_pred-y)**2

print('Predict(before training)',4,forward(4).item())

for epoch in range(100):
    #在每个epoch，对每个样本点进行更新w操作
    for x,y in zip(x_data,y_data):
        l=loss(x,y) #前向传播，计算损失
        l.backward()    #反向传播，计算tensor（requires_grad=True）的梯度
        print('\tgrad:',x,y,w.grad.item())
        w.data=w.data-0.01*w.grad.data #grad用来更新权值

        w.grad.data.zero_() #下一次更新之前，将grad值清零！！！

    print('progress:',epoch,l.item())

print('Predict(after training)',4,forward(4).item())

运行结果 

2

2.1 使用计算图计算梯度

#y=w1*x^2+w2*x+b的随机梯度下降
#y=x^2+2x+3
x_data=[1.0,2.0,3.0]
y_data=[6.0,11.0,18.0]

w1=0.5
w2=1.5
b=2.5

def forward(x):
    return w1*x*x+w2*x+b

def loss(x,y):
    y_pred=forward(x)
    return (y_pred-y)**2

def gradient(x,y):
    val=forward(x)-y
    return (2*x*x*val,2*x*val,2*val)

print('Predict(before training):',4,forward(4))
for epoch in range(1000):
    for x,y in zip(x_data,y_data):
        grad1,grad2,grad3=gradient(x,y)
        w1-=0.01*grad1
        w2-=0.01*grad2
        b-=0.01*grad3
        print('\tgrad:',x,y,grad1,grad2)
        l=loss(x,y)
    print('progress:',epoch,'w1=',w1,'w2=',w2,'b=',b,'loss=',l)

print('Predict(after training):',4,forward(4))

运行结果

 

2.2 使用pytorch计算梯度

#y=w1*x^2+w2*x+b的反向传播
#y=x^2+2x+3
import torch

x_data=[1.0,2.0,3,0]
y_data=[6.0,11.0,18.0]

w1=torch.Tensor([0.5])   #注意要加方括号
w1.requires_grad=True    #允许求导

w2=torch.Tensor([1.5])   #注意要加方括号
w2.requires_grad=True    #允许求导

b=torch.Tensor([2.5])   #注意要加方括号
b.requires_grad=True    #允许求导

#forward和loss函数用来构建计算图，不需要取tensor的data属性
#返回值都是tensor类型
def forward(x):
    return w1*x*x+w2*x+b  #值相乘

def loss(x,y):
    y_pred=forward(x)
    return (y_pred-y)**2

print('Predict(before training)',4,forward(4).item())

for epoch in range(100):
    #在每个epoch，对每个样本点进行更新w操作
    for x,y in zip(x_data,y_data):
        l=loss(x,y) #前向传播，计算损失
        l.backward()    #反向传播，计算tensor（requires_grad=True）的梯度
        print('\tgrad:',x,y,w1.grad.item(),w2.grad.item(),b.grad.item())
        w1.data = w1.data-0.01*w1.grad.data #grad用来更新权值
        w2.data = w2.data - 0.01 * w2.grad.data  # grad用来更新权值
        b.data =b.data - 0.01 * b.grad.data  # grad用来更新权值

        w1.grad.data.zero_() #下一次更新之前，将grad值清零！！！
        w2.grad.data.zero_()  # 下一次更新之前，将grad值清零！！！
        b.grad.data.zero_()  # 下一次更新之前，将grad值清零！！！

    print('progress:',epoch,'loss=',l.item())

print('Predict(after training)',4,forward(4).item())

运行结果