西瓜+南瓜 task4：神经网络

神经元模型

神经网络最基本的成分是神经元模型，通过多个神经元按照一定的层次结构连接。

想要输出还需以下图b的激活函数，图a 不连续不光滑，不太适用。

输出值范围都被挤压在（0，1）之间，因此又被称为挤压函数。

感知机与多层网络

感知机：两层神经元组成。 一般是线性的与、或、非问题，存在一个线性超平面能将它们分开。
要解决非线性可分问题，可考虑使用多层功能神经元。

经元之间不存在同层连接， 也不存在跨层连接

误差逆传播算法（简称BP）

BP算法目前是最成功的神经网络学习算法，大多都用它训练。
BP算法的目标是要最小化训练集上的累积误差。
标准BP算法每次仅针对一个训练样例更新连接权和阈值

先将输入示例提供给输入层神经元，然后逐层将信号前传，直到生输出层的结果，然后计算输出层的误差(第 4-5 行) ，再将误差逆向传播至隐层神经元(第6行) ，最后根据隐层神经元的误差来对连接权和阈值值进行调整(第7行)，该迭代过程循环进行，直到达到某些停止条件为止，例如训练误差己达到一个很小的值。

全局最小与局部极小

其他常见神经网络

RBF 网络

RBF神经网络已经成功地用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等

ART网络

由比较层、识别层、识别阈值、重置模块构成。

SOM 网络

一种竞争学习型的无监督神经网络，将高维输入数据映射到低维空间（通常为二维）。
训练过程：接收到一个训练样本后，每个输出层神经元都会计算该样本与自身携带的权向量之间的距离，距离短者获胜，然后获胜的神经元及其邻近神经元的权向量将会进行调整，以使得这些权向量与当前输入样本的距离缩小，与ART很相似。

级联相关网络

可以自己决定神经元个数和深度。

Elman 网络

Boltzmann 机

深度学习

典型的深度学习模型就是很深层的神经网络。