numpy和pytorch实现梯度下降法
- 设定初始值
- 求取梯度
- 在梯度方向上进行参数的更新
使用Python实现
x = 1
learning_rate = 0.1
epochs = 100
y = lambda x : x ** 2 + 2 * x + 1
for epoch in range(epochs):
dx = 2 * x + 2
x = x - learning_rate * dx
print(x)
print(y(x))
用PyTorch实现
首先要介绍autograd机制
总结出来就是两点,Variable有两个属性一个是data,一个是grad.其次定以f(x).backward()即可返回梯度,但是记得要清零梯度。
用PyTorch实现梯度下降法
import torch
from torch.autograd import Variable
x=torch.Tensor([1])
#建立一个张量 tensor([1.], requires_grad=True)
x=Variable(x,requires_grad=True)
print('grad',x.grad,'data',x.data)
learning_rate=0.1
epochs=10
for epoch in range(epochs):
y = x**2 + 2*x +1
y.backward()
print('grad',x.grad.data)
x.data=x.data-learning_rate*x.grad.data
#在PyTorch中梯度会积累假如不及时清零
x.grad.data.zero_()
print(x.data)
print(y)
numpy和pytorch实现线性回归
用Numpy实现线性回归
import numpy as np
x_data=np.array([1,2,3])
y_data=np.array([2,4,6])
epochs=10
lr=0.1
w=0
cost=[]
for epoch in range(epochs):
yhat=x_data*w
loss=np.average((y_data-yhat)**2)
cost.append(loss)
dw=-2*(y_data-yhat)@x_data.T/(x_data.shape[0])
w=w-lr*dw
print(w)
print(w)
复习一下shape()函数
表示维度
用PyTorch实现线性回归
torch.manual_seed(2)
x_data=Variable(torch.Tensor([[1.0],[2.0],[3.0]]))
y_data=Variable(torch.Tensor([[2.0],[4.0],[6.0]]))
epochs=10
lr=0.1
w=Variable(torch.FloatTensor([0]),requires_grad=True)
cost=[]
for epoch in range(epochs):
yhat=x_data*w
loss=torch.mean((yhat-y_data)**2)
cost.append(loss.data.numpy())
loss.backward()
w.data=w.data-lr*w.grad.data
print(w.data)
w.grad.data.zero_()
w.data
loss其实也是一个tensor,转numpy()后就成了一个数
pytorch实现一个简单的神经网络
torch.manual_seed(2)
x_data=Variable(torch.Tensor([[1.0],[2.0],[3.0]]))
y_data=Variable(torch.Tensor([[2.0],[4.0],[6.0]]))
#def the model
#claas来构建一个类,通过class Model来写一个神经网络
class Model(torch.nn.Module):
def __init__(self):
super(Model,self).__init__()
self.linear = torch.nn.Linear(1,1,bias=False)
def forward(self,x):
y_pred=self.linear(x)
return y_pred
model=Model()
print(model)
criterion=torch.nn.MSELoss(size_average=False)
optimizer=torch.optim.SGD(model.parameters(),lr=0.01)
epochs=20
cost=[]
for epoch in range(epochs):
y_pred=model(x_data)
loss=criterion(y_pred,y_data)
print(loss)
cost.append(loss.data[0])
optimizer.zero_grad()
loss.backward()
optimizer.step()
list(model.parameters())
放上三张学习的原图,里面有些过程有小错误,上面我自己敲的代码已经改过了,并有相应的运行结果截图,放上来主要是这三张学习资料有详细的注释,方便下次复习!