论文笔记：A LOGICAL CALCULUS OF THE IDEAS IMMANENT IN NERVOUS ACTIVITY

神经活动内在性的逻辑计算（神经元M-P模型）

• 论文 | A logical calculus of the ideas immanent in nervours activity
• 链接 | https://link.springer.com/content/pdf/10.1007%2FBF02478259.pdf
• 作者 | Warren S. McCulloch , Walter Pitts

前言

    McCulloch和Pitts的这篇论文被视为神经网络的开山论文，突出贡献是将生物神经系统归纳为“M-P神经元模型”。M-P模型是以两位作者McCulloch和Pitts的名字命名的。

生物神经网络的介绍

    因为是模仿生物神经元结构和工作原理提出来的模型，所以首先需要先了解生物神经元的结构，如下图：

    神经元在结构上由神经元在结构上由**细胞体、树突、轴突和突触**4部分组成。
1. 细胞体(soma)
细胞体即神经元的控制中心，细胞核所在。细胞体的边界是细胞膜，细胞膜将膜内外细胞液分开，膜内外存在离子浓度差，所以会出现电位差，这种电位差称为膜电位。
2. 树突(dendron)
突触的其中一种。从细胞体向外延伸出很多树突，负责接受来自其他神经元的信号，相当于神经元的输入端(input)。
3. 轴突(axon)
突触的其中一种。从细胞体向外延伸出的最长的一条突起。轴突比树突长而细，轴突也叫神经纤维，末端处有很多细的分支称为神经末梢，每一条神经末梢可以向四面八方传出信号，相当于细胞体的输出端（output）。
4. 突触(synapse)
一个神经元通过其轴突的神经末梢和和另一个神经元的细胞体或树突进行通信连接，这种连接相当于神经元之间的输入/输出接口（I/O），称为突触。

    突触使得神经元的膜电位发生变化，且电位变化可以累加。单个神经元接收其他多个神经元的轴突末梢传来的输入信号，这些输入对神经元的影响的权重也不相同。当神经元膜电位升高超过一个阈值时，就会产生兴奋，即输出信号。
    突触分为兴奋性和抑制性两种，兴奋性的突触可能引起下一个神经细胞兴奋，抑制性的突触使下一个神经细胞抑制。脉冲的传递是正向的，不允许逆向传播。另外，突触传递信息需要一定的延迟。
    综上所述，McCulloch和Pitts在构建逻辑计算模型之前提出了生物神经网络的几个假设特点：
1. 神经元活动是一个“不是全部就是都没有”(all-or-none)的过程，这意味着处理输入并产生输出的过程可用0/1来表示。
2. 一定数量的突触会在一个周期内激活一个潜在条件，这个特定的数量跟神经元位置和前期活动无关。（多输入单输出）
3. 神经系统的主要延迟是突触间传播的延迟。
4. 神经元输入分兴奋性输入和抑制性输入两种类型。
5. 神经网络结构不随时间变化，具有空间整合特性和阈值特性。

M-P模型

    基于生物神经网络的结构和特点，McCulloch和Pitts提出了逻辑运算上的模型，即M-P模型。为了使得建模更加简单，以便于进行形式化表达，我们忽略时间整合作用、不应期等复杂因素，并把神经元的突触时延和强度当成常数。下图是一个M-P模型的示意图：
    
    我们可以将其与生物神经元结构进行类比：

生物神经元	M-P模型
神经元	j
输入信号	Xi
权重值	Wij
输出信号	Yj
阈值	θj

    这样定义之后，一个神经元膜电位总和的表示便是：

$$net_j = \sum_{i=1}^{n}W_{ij}X_i-\theta_j$$

    一个神经元是否被激活，取决于输入信号总和net_j是否超过阈值。只有当输入信号总和超过阈值θ_j时，神经元才会被激活而产生兴奋，即产生输出信号。输出过程表示为：

$$y_j = f(net_j)$$
    y _j表示神经元j的输出，函数f称为激活函数(activation function)
    如果把阈值θ _j当成神经元的一个输入X ₀=-1的权重W _0j，则上面的式子简化为：
$$net_j = \sum_{i=0}^{n}W_{ij}X_i$$

    由此我们可以得到总结出M-P模型的6个特点：
1. 每个神经元都是一个多输入单输出的信息处理单元；
2. 神经元输入分兴奋性输入和抑制性输入两种类型；
3. 神经元具有空间整合特性和阈值特性；
4. 神经元输入与输出间有固定的时滞，主要取决于突触延搁；
5. 忽略时间整合作用和不应期；
6. 神经元本身是非时变的，即其突触时延和突触强度均为常数。

结合上边的公式，M-P模型符合生物神经元的大部分特点：
1. 输入信号中的X_ij,i=1,2,…,n；输出信号y_j体现了特点：多输入单输出；
2. 权重值W_ij的正负体现了特点：突触具有兴奋性和抑制性两种类型
3. θ_j体现了阈值的特点，只有当net_j>0时，神经元才能被激活