神经网络的组成

一． 摘要

这里将继续介绍NLP算法体系：基于人工神经网络（Artinci Neural Network）的深度学习方法。人工神经网络思想来源于仿生学对大脑机制的探索，即希望通过对大脑的模拟达到智能的目的。神经网络理论与技术就是在这样的目标下摸索发展出来的。神经网络是由具有自适应的单元组成的，广泛的、并行的、互联的网络，它的结构模拟了生物神经网络系统对真实世界所做出的交互反应。

二． 神经网络的组成

神经元模型：首先简单的了解以下构成神经网络的最基础单元：神经元。每个神经元与其他神经元相连，当它处于激活状态时，就会向相连的神经元发送相应信号。从而改变其他神经元的状态。如果某个神经元的信号超过某个阈值。那么将被激活，再接着发送给其他神经元。如图1所示： 

图1：神经元结构

之前我们了解到的GRU和LSTM网络都是由这一基本结构构成，神经网络的任何神经元都可以表述为上述的形式。该单元主要由输入变量、带权参数和激活函数组成。首先是x1，x2，x3带权重的输入变量，该变量的取值来自前面一层所有变量与权重的乘积，然后再求和，在数学上表示为下式：

其中&#x