神经网络基础

介绍神经网络之前，先简单介绍一下神经网络的最基本单元：神经元。如下图所示：

神经元是信息处理的单元，而神经元之间的联接则负责传递信息。每个联接都有相应的权重，在典型的神经网络中，往往是将权重与信号相乘。这些输入信号的加权和作为神经元的输入信号，神经元应用激活函数对输入进行处理，并且产生输出，传递给下一个神经元。
计算过程如下图所示：

其中：
$x_1,x_2,...x_m$：传递的信号
$W_k1,W_k2,...W_km$：联接的权重
$S$：来自所有联接的加权和
$V_k$：在加权和的基础上加上一个偏置常数$bias$
$j(x)$：激活函数
$y_k$：输出

接下来我们更详细的介绍一下神经网络中的联接模式
在神经元的联接中我们一般用”+”表示传送来的信号起刺激作用，能够增加神经元的活跃度；用”-“表示传送来的信号起抑制作用，用于降低神经元的活跃度。
对于神经网络层次的划分，我们将其分成三种不同的互联模式
1. 层内联接：用来加强和完成层内神经元之间的竞争
2. 循环联接：反馈信号
3. 层间联接：用来实现层间的信号传递