【使用 Pytorch 实现入门级的人工神经网络】

介绍

我们都想深入研究深度学习并探索其可以执行的各种任务，例如构建机器人或将中文翻译成英语等系列任务。要深入研究，我们必须从基础开始，神经网络的基本构建模块将帮助我们如何处理数据，就像我们在大脑中所做的那样。本文将从头开始了解神经网络，以及如何使用 Pytorch 构建人工神经网络。

生物神经网络（BNN）：

生物神经网络是建立人工神经网络的主要灵感，模拟它们，使机器能够执行复杂的任务，并像人类一样思考。神经元是神经网络的主要单元，它由称为胞体的细胞体、树突和轴突组成。它们接收来自附近神经元的信号，由轴突将信号传递给其他神经元。末端与树突的接触是通过突触实现的，就像多米诺骨牌效应一样，脉冲信号从一个神经元传递到另一个神经元。

人工神经网络（ANN）

人工神经网络是基于模仿人脑工作方式的想法构建的，可以说它是一个复杂度较低的数学模型人脑。与 BNN 一样，神经网络具有不同的特征，进入神经元时具有与其学习模式相关联的特定权重，然后从神经元激发输出。这些特征是神经元的输入，如 BNN 中的树突，这些节点就像细胞核，权重由带有轴突的突触表示，用于输出。人工神经网络由输入层、隐藏层和输出层组成。输入层接受提供给它的所有输入。隐藏层位于输入和输出之间，用于查找与问题相关的模式，这是通过更新其权重来学习的层。输出层可以是单个神经元，例如在预测句子中的下一个单词的情况下，两个神经元来获得图像是猫或狗的概率，或者是多个神经元，用于使用softmax 进行分类。

人工神经网络具有多个隐藏层的神经网络称为深度神经网络，随着网络中隐藏层的增加，可以更深入，但是太深入也不好，因为网络可能会遇到称为退化的问题。有很多方法可以构建深度网络而不会遇到这个问题，比如使用残差块。如果您想了解更多信息，可以参考我的博文《使用Pytorch实现ResNet网络模型：ResNet50、ResNet101和ResNet152》。

ANN的工作原理

输入层与每个隐藏层连接，并通过加权有向图从隐藏层到输出。这些边缘将隐藏层中的一个神经元连接到下一个隐藏层中的每个其他神经元。然后，每个输入乘以相应的权重，这些神经元通常代表在神经人工网络中连接的能力，所有加权输入都在计算单元内汇总。如果加权和为零，则使用偏置项并将其相加以使输出非零。偏差取相同的输入，权重等于 1。这里的总输入权重可以是从 0 到任何正数。在神经网络中，权重在反向传播的过程中被更新。

在前馈神经网络中，从输入到输出只有一个方向的值流，这里没有权重更新，仅用于一次性提供输出。在反向传播的情况下，输出端有一个损失函数，我们在输出中得到的结果在损失函数中进行比较，并在此基础上，权重在反向传播时得到了更新。通过这种方式，模型通过更新权重来学习解决各种特定任务。

使用 PyTorch 实现人工神经网络

为了实现人工神经网络，本示例中使用了 PyTorch 的 python 库。PyTorch 已被广泛使用，目前几乎所有最先进的模型都在其中实现。

import torch
from torch import nn


class MyFirstNeuralNetwork(nn.Module):
    def __init__(self):
        super(MyFirstNeuralNetwork, self).__init__()
        self.flatten = nn.Flatten()
        self.net = nn.Sequential(
          nn.Linear(28*28, 512),
          nn.ReLU(),
          nn.Linear(512, 512),
          nn.ReLU(),
          nn.Linear(512, 10),
          nn.ReLU()
        )

    def forward(self, x):
        x = self.flatten(x)
        logits = self.net(x)
        return logits


if __name__ == '__main__':
    device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
    model = MyFirstNeuralNetwork().to(device)
    print(model)

在上面的测试代码中，输出应为：

结论

在本文中，我主要介绍了生物神经网络和模仿生物神经网络而快速发展起来的人工神经网络，以及如何利用pytorch库来实现人工神经网络，以此供大家参考和学习，若有不正确的地方，还请大家指正，谢谢！