Import 部分
import torch
from torch.autograd import Variable
import torch.nn.functional as F
import matplotlib.pyplot as plt
【torch】 pytorch模块
【torch.autograd】 顾名思义,autograd -->自动梯度运算,所以要进行梯度运算来完成前向传播的过程,一定要引用这个模块的 Variable(变量)
【torch.nn.functional】torch.nn是一个大类,torch.nn.functional 里面包括了很多构建网络需要的东西,例如卷积层,池化层,损失函数等等,大家可以浏览一下这个 网址 看一下
【matplotlib.pyplot】负责可视化的部分,画图用的
Tensor
使用Pytorch搭建神经网络,首先要定义张量Tensor:
x = torch.unsqueeze(torch.linspace(-1,1,100),dim=1)
y = x.pow(2) + 0.2*torch.rand(x.size())
【torch.linspace(-1,1,100)】从-1到1之间产生100个数
【torch.unsqueeze】 这个函数主要是对数据维度进行扩充。给指定位置加上特定的维度数的维度,例如图中的 dim=1 就是给原本的 torch.linspace(-1,1,100) 添加 1 维,使其成为 2 维的数据,详见网址。
【x.pow(2)】x的值进行求平方计算,torch的常用的类似函数可见网址
【0.2*torch.rand(x.size())】torch.rand(x.size())按照x的尺寸产生一个均匀分布的张量,类似的还有torch.randn()是产生一个正态分布的张量,详见网址
Variable
需要变量的原因是:张量不能直接放到神经网络进行训练,而是要将 tensor 放到一个变量里面,变量作为载体,送入神经网络进行学习。
x, y = Variable(x), Variable(y)
定义神经网络部分
通过继承 nn.Module类 来实现自定义网络层。在__init__构造函数中申明各个层的定义,在forward中实现层之间的连接关系,实际上就是前向传播的过程。事实上,在pytorch里面自定义层也是通过继承自nn.Module类来实现的,pytorch里面一般是没有层的概念,层也是当成一个模型来处理的,这里和keras是不一样的。
class Net(torch.nn.Module):
def __init__(self, n_feature, n_hidden, n_output):
super(Net, self).__init__()
self.hidden = torch.nn.Linear(n_feature, n_hidden)
self.output = torch.nn.Linear(n_hidden, n_output)
def forward(self):
x = F.relu(self.hidden(x))
x = self.output(x)
return x
① 的意思是这个 Net 相当于是torch.nn.Module 模块,是一种模式的继承。torch.nn.Module 是所有神经网络单元的基类,所以在定义神经网络的时候都要加括号中的这句话。
② 和 ③ 是构建神经网络中最重要的两个部分。
②是定义网络结构中的各个部分,包括:
① 输入层、隐藏层、输出层的数据尺寸
② 官方步骤:继承以上的模型关系
③ 自定义隐藏层和输出层
③ 是定义前向传播的动态的过程:
① 先进行一次激活函数,将原来的线性Linear关系变成非线性
② 将变量 x 送进输出层进行输出:
这里没有再经过激活函数的原因,是因为这里是一个回归问题,其y的分布是在整个y轴上的,如果使用了激活函数那么所有的值会在y轴的正半轴分布,所以很多情况下是可以在输出层不使用激活函数
调用网络
net = Net(1, 10, 1) #(n_feature, n_hidden, n_output)
optimizer = torch.optim.SGD(net.parameters(),lr=0.002)
loss_func = torch.nn.MSELoss()
for t in range(100)
prediction = net(x)
loss = loss_func(prediction,y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
① 调用网络并传入参数
② 设定优化器和定义损失函数
③ 使用网络开始训练:
① 原有梯度清零
② 将上一步骤算出的loss进行前向传播
③ 按照学习率 lr = 0.5 进行优化
整体代码
import torch
from torch.autograd import Variable
import torch.nn.functional as F
import matplotlib.pyplot as plt
x = torch.unsqueeze(torch.linspace(-1,1,100),dim=1)
y = x.pow(2) + 0.2*torch.rand(x.size())
x, y = Variable(x), Variable(y)
class Net(torch.nn.Module):
def __init__(self, n_feature, n_hidden, n_output):
super(Net, self).__init__()
self.hidden = torch.nn.Linear(n_feature, n_hidden)
self.output = torch.nn.Linear(n_hidden, n_output)
def forward(self):
x = F.relu(self.hidden(x))
x = self.output(x)
return x
net = Net(1, 10, 1) #(n_feature, n_hidden, n_output)
optimizer = torch.optim.SGD(net.parameters(),lr=0.002)
loss_func = torch.nn.MSELoss()
for t in range(100)
prediction = net(x)
loss = loss_func(prediction,y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
你看懂了吗?
分析谨供参考哦,如果有什么觉得不对的地方可以指正,感谢~~