Pytorch搭建神经网络之低级API (nn.functional）

Import 部分

import torch	
from torch.autograd import Variable
import torch.nn.functional as F
import matplotlib.pyplot as plt

【torch】 pytorch模块

【torch.autograd】 顾名思义，autograd -->自动梯度运算，所以要进行梯度运算来完成前向传播的过程，一定要引用这个模块的 Variable（变量）

【torch.nn.functional】torch.nn是一个大类，torch.nn.functional 里面包括了很多构建网络需要的东西，例如卷积层，池化层，损失函数等等，大家可以浏览一下这个 网址 看一下

【matplotlib.pyplot】负责可视化的部分，画图用的

Tensor

使用Pytorch搭建神经网络，首先要定义张量Tensor：

x = torch.unsqueeze(torch.linspace(-1,1,100),dim=1)
y = x.pow(2) + 0.2*torch.rand(x.size())

【torch.linspace(-1,1,100)】从-1到1之间产生100个数

【torch.unsqueeze】 这个函数主要是对数据维度进行扩充。给指定位置加上特定的维度数的维度，例如图中的 dim=1 就是给原本的 torch.linspace(-1,1,100) 添加 1 维，使其成为 2 维的数据，详见网址。

【x.pow(2)】x的值进行求平方计算，torch的常用的类似函数可见网址

【0.2*torch.rand(x.size())】torch.rand(x.size())按照x的尺寸产生一个均匀分布的张量，类似的还有torch.randn()是产生一个正态分布的张量，详见网址

Variable

需要变量的原因是：张量不能直接放到神经网络进行训练，而是要将 tensor 放到一个变量里面，变量作为载体，送入神经网络进行学习。

x, y = Variable(x), Variable(y)

定义神经网络部分

通过继承 nn.Module类 来实现自定义网络层。在__init__构造函数中申明各个层的定义，在forward中实现层之间的连接关系，实际上就是前向传播的过程。事实上，在pytorch里面自定义层也是通过继承自nn.Module类来实现的，pytorch里面一般是没有层的概念，层也是当成一个模型来处理的，这里和keras是不一样的。

class Net(torch.nn.Module):
	def __init__(self, n_feature, n_hidden, n_output):
		super(Net, self).__init__()
		
		self.hidden = torch.nn.Linear(n_feature, n_hidden)
		self.output = torch.nn.Linear(n_hidden, n_output)
		
	def forward(self):
		x = F.relu(self.hidden(x))
		x = self.output(x)
		return x

① 的意思是这个 Net 相当于是torch.nn.Module 模块，是一种模式的继承。torch.nn.Module 是所有神经网络单元的基类，所以在定义神经网络的时候都要加括号中的这句话。

② 和 ③ 是构建神经网络中最重要的两个部分。

②是定义网络结构中的各个部分，包括：

① 输入层、隐藏层、输出层的数据尺寸
② 官方步骤：继承以上的模型关系
③ 自定义隐藏层和输出层

③ 是定义前向传播的动态的过程：

① 先进行一次激活函数，将原来的线性Linear关系变成非线性
② 将变量 x 送进输出层进行输出：
这里没有再经过激活函数的原因，是因为这里是一个回归问题，其y的分布是在整个y轴上的，如果使用了激活函数那么所有的值会在y轴的正半轴分布，所以很多情况下是可以在输出层不使用激活函数

调用网络

net = Net(1, 10, 1)  #(n_feature, n_hidden, n_output)

optimizer = torch.optim.SGD(net.parameters(),lr=0.002)
loss_func = torch.nn.MSELoss()

for t in range(100)
	prediction = net(x)
	loss = loss_func(prediction,y)
	
	optimizer.zero_grad()
	loss.backward()
	optimizer.step()
	

① 调用网络并传入参数
② 设定优化器和定义损失函数
③ 使用网络开始训练：

① 原有梯度清零
② 将上一步骤算出的loss进行前向传播
③ 按照学习率 lr = 0.5 进行优化

整体代码

import torch	
from torch.autograd import Variable
import torch.nn.functional as F
import matplotlib.pyplot as plt

x = torch.unsqueeze(torch.linspace(-1,1,100),dim=1)
y = x.pow(2) + 0.2*torch.rand(x.size())

x, y = Variable(x), Variable(y)

class Net(torch.nn.Module):
	def __init__(self, n_feature, n_hidden, n_output):
		super(Net, self).__init__()
		
		self.hidden = torch.nn.Linear(n_feature, n_hidden)
		self.output = torch.nn.Linear(n_hidden, n_output)
		
	def forward(self):
		x = F.relu(self.hidden(x))
		x = self.output(x)
		return x

net = Net(1, 10, 1)  #(n_feature, n_hidden, n_output)

optimizer = torch.optim.SGD(net.parameters(),lr=0.002)
loss_func = torch.nn.MSELoss()

for t in range(100)
	prediction = net(x)
	loss = loss_func(prediction,y)
	
	optimizer.zero_grad()
	loss.backward()
	optimizer.step()

你看懂了吗？
分析谨供参考哦，如果有什么觉得不对的地方可以指正，感谢~~