【深度学习】单层神经网络

1943年，心理学家McCulloch和数学家Pitts共同发表了神经网络的开山之作A Logical Calculus of the Ideas Immanent in Nervours Activity¹，提出了神经网络的第一个数学模型——MP模型。该模型也成为了人工神经网络的基础。

神经元

生物神经元有树突、轴突和细胞核等，人工神经元对其进行模拟，每个人工神经元模型包含3个输入、1个输出和两个计算功能：

计算公式如下：
$$z=Sgn(a_1{w}_1+a_2{w}_2+a_3{w}_3)$$

• $z$为输出
• $a_1,a_2,a_3$为输入
• $w_1,w_2,w_3$为权重
• SUM 为求和运算
• $Sgn$为取符号函数

如果函数和权重已知，那么就可以通过神经元模型得到相应的结果。但这样的模型是固化的，无法学习。

1949年，心理学家Hebb提出了著名的Hebb定律。他认为人脑神经细胞间连接的强度是可变的，当两个细胞同时兴奋时，它们之间的连接强度就会增加：
$$\Delta w_{ij}=\eta z_i{a}_j$$

• $\Delta w_{ij}$为节点$i$到节点$j$间连接权重的增量；
• $\eta$为学习率；
• $z_i$为节点$i$的输出；
• $a_i$为节点$j$的输入；

尽管神经元模型和Hebb定律早已提出，但是由于计算能力的限制，直到1957年，第一个神经网络才真正诞生。

感知机

1957年，Frank Rosenblatt提出感知机（Perceptron）理论²，并搭建出了首个可以学习的由两个神经元组成的神经网络：
$$\begin{gathered} z_1=Sgn(a_1{w}_{1,1}+a_2{w}_{1,2}+a_3{w}_{1,3}) \\ {z}_2=Sgn(a_1{w}_{2,1}+a_2{w}_{2,2}+a_3{w}_{2,3}) \end{gathered}$$
示意图如下：

感知机也成为单层神经网络。其计算方式也可以进一步转化为矩阵乘法的形式：

• 3个输入可以组成一个输入矩阵：
  $$\mathbf{a}=[a_1,a_2,a_3{]}^T$$
• 2个输出可以组成一个输出矩阵：
  $$\mathbf{z}=[z_1,z_2{]}^T$$
• 权重为一个两行三列的矩阵：
  $$\mathbf{W}=\left[\begin{array}{c}{w}_{1,1},w_{1,2},w_{1,3}\\ w_{2,1},w_{2,2},w_{2,3}\end{array}\right]$$

感知机只能完成线性分类任务，甚至连简单的XOR（异或）问题都无法解决³。这也导致神经网络的相关研究一度陷入冰河期。

---

1. McCulloch, Warren S. and Walter Pitts. “A logical calculus of the ideas immanent in nervous activity.” Bulletin of Mathematical Biology 52 (1990): 99-115. ↩︎

2. Mulmuley, Ketan. “Computational geometry - an introduction through randomized algorithms.” (1993). ↩︎

3. Rosenblatt, Frank. “The perceptron: a probabilistic model for information storage and organization in the brain.” Psychological review 65 6 (1958): 386-408 . ↩︎