【1】神经网络

1、感知机

1.1、概念

感知机模型，是一种最简单的神经网络模型结构，如图是具有两个输入神经元，一个输出神经元的感知器模型。我们知道该模型是可以做与或非运算的。

输出和输入之间学习到一个线性关系，得到中间输出结果

 接着是一个神经元激活函数

1.2、与或非运算举例

具有四个样本，每个样本有两个特征（0,1）（0,0）（1,0）（1,1）根据上述公式很容易将他们分类。

与运算

或运算

 非运算

但是如何进行异或运算分类呢？这个模型只能用于二元分类，且无法学习比较复杂的非线性模型，因此在工业界无法使用。而神经网络则在感知机的模型上做了扩展。

2、神经网络

人工神经网络（ANN），简称神经网络（NN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型，是机器学习中的一种模型。神经网络由大量的人工神经元联结进行计算。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。

2.1、神经网络架构

神经网络在感知机的基础上进行扩展，可以有多层，每层可以有多个神经元，输出层的神经元可以有多个。在每一层之后增加激活函数，例如tanh、sigmoid、softmax、relu函数等。神经网络的架构可以分为三类，前馈神经网络、循环网络和对称连接网络。

1、前馈神经网络第一层是输入，最后一层是输出，如果有多个隐藏层，我们称之为深度神经网络。这种神经网络层与层之间是全连接，每层之间的节点无连接。2、循环网络的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的，这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。这时候就有了循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。3、对称连接网络有点像循环网络，但是单元之间的连接是对称的（它们在两个方向上权重相同）。比起循环网络，对称连接网络更容易分析。这个网络中有更多的限制，因为它们遵守能量函数定律。没有隐藏单元的对称连接网络被称为“Hopfield 网络”。有隐藏单元的对称连接的网络被称为玻尔兹曼机。

2.2、神经网络种类

一般的，神经网络模型基本结构按信息输入是否反馈，可以分为两种：前馈神经网络和反馈神经网络。前馈神经网络信息从输入层开始输入，每层的神经元接收前一级输入，并输出到下一级，直至输出层。整个网络信息输入传输中无反馈（循环）。即任何层的输出都不会影响同级层，可用一个有向无环图表示。常见的前馈神经网络包括卷积神经网络（CNN）、全连接神经网络（FCN)、生成对抗网络(GAN)等。反馈神经网络神经元不但可以接收其他神经元的信号，而且可以接收自己的反馈信号。和前馈神经网络相比，反馈神经网络中的神经元具有记忆功能，在不同时刻具有不同的状态。反馈神经网络中的信息传播可以是单向也可以是双向传播，因此可以用一个有向循环图或者无向图来表示。常见的反馈神经网络包括循环神经网络(RNN)、长短期记忆网络(LSTM)、Hopfield网络和玻尔兹曼机。