[1] 人工神经网络 神经元模型

背景

之前在网上搜索了好多好多关于CNN，卷积神经网络的文章，很多都讲如何卷积、卷积层如何操作、具体如何进行卷积计算、卷积的好处。我也在此之前走了好多弯路，已经很了解如何卷积了，但是却不知道物理意义上，卷积与神经网络之间的联系。

但是鉴于大量的文章在网络上层出不穷地重复与累赘，更重要的是对于 卷积神经网络 一词当中，很多人都忽略了 神经网络 而去强调如何 卷积，因此本文主要讲述卷积神经网络中最重要的部分， 神经网络。希望看完这篇文章和相关卷积神经网络ConvsNet的人能够搞懂 NN 与 Conv 之间的联系与物理意义。

1.人工神经网络

1.1 神经元模型

神经元是神经网络操作的基本信息处理单位。下图给出了神经元的模型model，这张图是后续章节单重将要探讨的设计（人工）神经网络Big Family的基础。我们在这里给出了神经元模型的三种基本元素：

1. 突触 或者 链接链集， 每一个都由其 权值 或者 强度 作为特征。具体来说，在连接到神经元k的突触 j 上的输入信号 xj 被乘以 k 的突触权值 $w_{kj}$。 注意突触权值 $w_{kj}$ 下标的写法很重要。第一个下标指正在研究的这个神经元，第二个下标指权值所在的突触的输入端。和人脑的突触不一样的是，人工神经元的突触权值只有一个范围，可以取正值也可以取负值。

2. 加法器，用于求输入信号干杯神经元的相应突触加权的和。这个操作构成一个线性组合器。

3. 激活函数，用来限制神经元输出振幅。由于通过激活函数将输出信号压制（限制）到允许范围之内的一定值，故而激活函数也被称之为压制函数。通常，一个神经元输出的正常幅度范围可写成单位区间 [0, 1] 或者另一种区间 [-1, +1]。

图1的神经元也包括了一个外部偏置（bias），记为 $b_k$。偏置 $b_k$ 的作用是根据其为正或为负，相应地增加或降低激活函数的网络输入。

用数学的公式来表示，我们可以用下面的方程描述上图1的神经元 $k$：

$$u_k = \sum_{i=1}{m}w_{ki}x_i$$

$$y_k = \psi(u_k+b_k)$$

其中 x1,x2,...,xn