用Python手撸一个神经网络

用Python实现用于分类任务的简单神经网络

一年前接触$\text{PyTorch}$的时候，便有了手动构建神经网络的想法，但囿于编程技术和机器学习知识的匮乏，无法将想法变成现实。在学习了《机器学习》的神经网络章节后，便打算将其用Python实现出来一个单隐层的神经网络.

本文转载自我的博客：Welt Xing’s blog

神经网络简述

神经网络是由具有自适应的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经对真实世界的物体所作出的交互反应 ——$\text{Kohonen},1988$.

一个典型的神经网络如下面所示：

其中每一个圆圈都是一个下面这样的$m$输入1输出的神经元：

它将多输入进行线性组合，加以偏置，通过激活函数输出信号

$$y=\phi (\sum _{i=1}^m{\omega }_i{x}_i-b)$$

编程弯路

在经过上面的神经网络的介绍后，我们一个简单的想法是先写一个Neuron类，用来模拟神经元的行为：

class Neuron:
    '''
    The class is used to imitate the behavior of neuron
    '''
    def __init__(self, input:int):
        self.input = input
        self.weight = np.random.rand(1, input)
        self.bias = np.random.rand(1, 1)

    @staticmathod
    def ReLU(x):
        '''
        激活函数使用ReLU
        '''
        return x>0? x : np.zeros(x.shape)

    def output(x):
        '''
        计算输出
        '''
        return Neuron.ReLU(self.weight @ x.T - self.bias)

然后一层神经元NeuronLayer就是一个Neuron数组，神经网络NeuronNetwork就是神经元层的数组. 这种设计是可行的，但难在层与层之间的交互：上一层的信号传导到下一层的信号要考虑同步，更新等问题，难度过大，我们会提出更简单可靠的实现方法. 事实上，越形象的模型，实现起来越复杂，越抽象的模型，越能够用数学模型去模拟.

从矩阵视角看神经网络

为了便于书写和讨论，我们选择去实现一个$3$输入，$4$个隐层神经元和$2$输出的神经网络；此外，选用$\text{Sigmoid}$作为激活函数：

$$\text{Sigmoid}(x)=\frac{1}{1+\exp (-x)}$$

也就是下面的网络：

该网络中的参数有哪些？我们从左往右看：

• 输入层到中间层的边上的权重，如果我们设连接输入层中第$i$个神经元和隐藏层中第$j$个神经元的边上的权重为$v_{ij}$，那么就可以将输入层到隐藏层上的边权用矩阵写出来：

$$V=\left[\begin{array}{cccc}{v}_{11}& v_{12}& v_{13}& v_{14}\\ v_{21}& v_{22}& v_{23}& v_{24}\\ v_{31}& v_{32}& v_{33}& v_{34}\end{array}\right]$$

$v_{ij}$表示第$i$个神经元到第$j$个神经元的权重.

• 中间层的偏置：

$$B=\left[\begin{array}{cccc}{b}_1& b_2& b_3& b_4\end{array}\right]$$

$b_i$表示中间层第$i$的神经元的偏置.

• 中间层到输出层的权重矩阵：

$$W=\lfloor$$