pytorch学习笔记一：

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

文章目录

前言

一、张量（tensor）

二、tensor基本操作

三、自动求导机制

四、简单的线性回归模型

五、使用GPU训练

总结

---

---

前言

第一次写博客，从零开始学习pytorch，之前有学过一点tensorflow，跟着吴恩达的机器学习敲了一下；周边朋友和老师都推荐使用pytorch，自己使用tensorflow的体验也不是特别好，特别是版本问题。

一、张量（tensor）

矩阵的推广，pytorch里面都必须转换为tensor才能使用。

具体参考 什么是张量？ - 知乎 (zhihu.com)

二、tensor基本操作

具体张量操作跟numpy差不多，也可以互相转换。

已经在jupyter上写了一些了，忘了可以去看看，熟悉一下

三、自动求导机制

pytorch已经把反向传播计算好了；所以只需将精力放在神经网络框架设计上。

对于需要梯度下降的值，需要将自动求导设为True，反向传播需要清零，否则会累加：

x = torch.randn(3, 4,requires_grad=True)
b = torch.randn(3,4,requires_grad=True)
t = x + b
y = t.sum()
y.backward()  # 反向传播，如果不清空会累加

 

四、简单的线性回归模型

import numpy as np
import torch
import torch.nn as nn


class LinearRegressionModel(nn.Module):
	def __init__(self, input_dim, output_dim):
		super(LinearRegressionModel, self).__init__()
		self.linear = nn.Linear(input_dim, output_dim) # 输入输出的数据维度

	def forward(self, x):
		out = self.linear(x)
		return out


x_values = [i for i in range(11)]
x_train = np.array(x_values, dtype=np.float32)
x_train.reshape(-1, 1)
y_values = [2*i + 1 for i in x_values]
y_train = np.array(y_values, dtype=np.float32)
y_train.reshape(-1, 1)

input_dim = 1
output_dim = 1

model = LinearRegressionModel(input_dim, output_dim)

epochs = 1000
learning_rate = 0.01
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
criterion = nn.MSELoss()

for epoch in range(epochs):
	epoch += 1
	# 转换为tensor
	inputs = torch.from_numpy(x_train)
	inputs = inputs.view(-1, 1)
	labels = torch.from_numpy(y_train)
	labels = labels.view(-1, 1)
	# 梯度清零
	optimizer.zero_grad()
	# 前向传播
	outputs = model(inputs)
	# 计算损失
	loss = criterion(outputs, labels)
	# 反向传播
	loss.backward()
	# 更新权重参数
	optimizer.step()
	if epoch % 50 == 0:
		print('epoch{}, loss{}'.format(epoch, loss.item()))

五、使用GPU训练

创建GPU对象device，并将数据与模型传入：

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 创建一个GPU对象divice，并将数据与模型传入进去。
model.to(device) # 传入模型
inputs = torch.from_numpy(x_train).to(device) # 传入数据
labels = torch.from_numpy(y_train).to(device) # 传入数据

 

---

总结

反向传播不太明白