PyTorch深度学习入门 || 系列（三）——人工神经元

0 写在前面

这一篇文章介绍人工神经元、人工神经网络。

1 数据处理

1. 用linspace()函数产生[-3,3)区间内的100 000个点，并使用unsqueeze()函数在第一维处增加一个维度！
2. 展示一下unsqueeze()函数的前后对比：
   

2 模型定义

1. 定义一个线性模型LR，它继承PyTorch中的nn.Module，nn就是Neural Network的缩写。

	class LR(nn.Module):

2. 在初始化时，首先执行父类的初始化函数

    def __init__(self):
        super(LR, self).__init__()

3. 接着用nn中预设好的线性神经网络模块nn.Linear()来构造线性模型。
   注意：名字可以自定义，例如self.linear 或者是self.l 或者是 self.A

4. nn.Linear()的第一个参数代表输入数据的维度，第二个参数代表输出数据的维度。由于题目要求，这里的输入输出都是一维的。

        self.linear = nn.Linear(1, 1)

5. 定义forward()函数，就是从输入求出输出的过程：

    def forward(self, x):
        out = self.linear(x)
        return out

2.1 完整的模型定义

class LR(nn.Module):
    def __init__(self):
        super(LR, self).__init__()
        self.linear = nn.Linear(1, 1)

    def forward(self, x):
        out = self.linear(x)
        return out

3 设置Loss函数

1. nn模块中有均方差函数MSE()

	criterion = nn.MSELoss()

4 优化——梯度下降和随机梯度下降

• “随机梯度下降”是“梯度下降”方法的改良版。
• 梯度下降：把全部数据一次性喂给模型，然后权值更新。好处：效率高
• 随机梯度下降：每次把1个数据喂给模型，进行权值更新。好处：防止梯度下降导致的内存溢出；防止优化过程陷入局部最小值。

随机梯度下降函数：SGD()， 第一个参数是需要优化的神经网络模型的参数，第二个参数是学习率。

	optimizer = optim.SGD(LR_model.parameters(), lr=1e-4)

5 完整代码

• 此段代码可以直接运行
• 需要注意，如果采用了CUDA计算，那么draw函数的output一定要记得还原成CPU数据类型才能进行绘图！！！ 否则如下图报错

import torch
import matplotlib.pyplot as plt
from torch import nn, optim
from time import perf_counter

x = torch.unsqueeze((torch.linspace(-3, 3, 100000)), dim=1)
y = x + 1.2 * torch.rand(x.size())


class LR(nn.Module):
    def __init__(self):
        super(LR, self).__init__()
        self.linear = nn.Linear(1, 1)

    def forward(self, x):
        out = self.linear(x)
        return out


LR_model = LR().cuda()
inputs = x.cuda()
target = y.cuda()


criterion = nn.MSELoss()
optimizer = optim.SGD(LR_model.parameters(), lr=1e-4)


def train(model, criterion, optimizer, epochs):
    for epoch in range(epochs):

        output = model(inputs)
        loss = criterion(output, target)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        if epoch % 80 == 0:
            draw(output, loss)
	return model, loss

def draw(output, loss):
    output = output.cpu()  # 如果删掉这行就会报错，下面的红色
    plt.cla()
    plt.scatter(x.numpy(), y.numpy())
    plt.plot(x.numpy(), output.data.numpy(), 'r-', lw=5)
    plt.text(0.5, 0, 'loss=%s' % (loss.item()), fontdict={'size':20, 'color':'red'})

    plt.show()
    plt.pause(0.005)


start = perf_counter()
LR_model, loss = train(LR_model, criterion, optimizer, 10000)
finish = perf_counter()
time = finish - start
print("计算时间 ： %s" % time)
print("final loss；", loss.item())
print("weights: ", list(LR_model.parameters()))

• 报错了！
• 如果你觉得本篇文章对你有帮助的话，感谢收藏点赞关注 我 哟！！

• 这个是截取的靠后的一张图片
  

• 使用CUDA加速计算：