提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
第一次写博客,从零开始学习pytorch,之前有学过一点tensorflow,跟着吴恩达的机器学习敲了一下;周边朋友和老师都推荐使用pytorch,自己使用tensorflow的体验也不是特别好,特别是版本问题。
一、张量(tensor)
矩阵的推广,pytorch里面都必须转换为tensor才能使用。
二、tensor基本操作
具体张量操作跟numpy差不多,也可以互相转换。
已经在jupyter上写了一些了,忘了可以去看看,熟悉一下
三、自动求导机制
pytorch已经把反向传播计算好了;所以只需将精力放在神经网络框架设计上。
对于需要梯度下降的值,需要将自动求导设为True,反向传播需要清零,否则会累加:
x = torch.randn(3, 4,requires_grad=True)
b = torch.randn(3,4,requires_grad=True)
t = x + b
y = t.sum()
y.backward() # 反向传播,如果不清空会累加
四、简单的线性回归模型
import numpy as np
import torch
import torch.nn as nn
class LinearRegressionModel(nn.Module):
def __init__(self, input_dim, output_dim):
super(LinearRegressionModel, self).__init__()
self.linear = nn.Linear(input_dim, output_dim) # 输入输出的数据维度
def forward(self, x):
out = self.linear(x)
return out
x_values = [i for i in range(11)]
x_train = np.array(x_values, dtype=np.float32)
x_train.reshape(-1, 1)
y_values = [2*i + 1 for i in x_values]
y_train = np.array(y_values, dtype=np.float32)
y_train.reshape(-1, 1)
input_dim = 1
output_dim = 1
model = LinearRegressionModel(input_dim, output_dim)
epochs = 1000
learning_rate = 0.01
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
criterion = nn.MSELoss()
for epoch in range(epochs):
epoch += 1
# 转换为tensor
inputs = torch.from_numpy(x_train)
inputs = inputs.view(-1, 1)
labels = torch.from_numpy(y_train)
labels = labels.view(-1, 1)
# 梯度清零
optimizer.zero_grad()
# 前向传播
outputs = model(inputs)
# 计算损失
loss = criterion(outputs, labels)
# 反向传播
loss.backward()
# 更新权重参数
optimizer.step()
if epoch % 50 == 0:
print('epoch{}, loss{}'.format(epoch, loss.item()))
五、使用GPU训练
创建GPU对象device,并将数据与模型传入:
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 创建一个GPU对象divice,并将数据与模型传入进去。
model.to(device) # 传入模型
inputs = torch.from_numpy(x_train).to(device) # 传入数据
labels = torch.from_numpy(y_train).to(device) # 传入数据
总结
反向传播不太明白