神经网络

人工神经网络是由人工建立的有向图为拓扑结构的动态系统，他通过对联系或断续的输入做出状态响应而进行的信息处理。
神经网络是对生物神经系统功能的模拟而非结构的模拟

神经网络是由简单的信息处理单元组成的并行处理，平行计算，分布式存储的处理器，具有存储经验知识并利用有用知识处理问题的功能，可以把神经网络看成是一个自适应系统。

神经网络是对大脑的一种描述，可以看成一个数学模型或一种数值算法，可以利用电子线路或计算机程序来模拟实现；其次，神经网络的每个基本组成单元—神经元的特性非常简单，神经元之间广泛互连实现并行处理而表现出的群体特性非常复杂，甚至是混沌；另外神经网络通过学习过程可以从周围环境中获取知识，中间神经元的连接强度（权值）用来表示存储的知识。
已提出的神经网络模型大概100种，神经网络的结构分为两种基本类型：前馈（前向）网络和反馈（递归）网络。

前馈网络：是一种静态的非线性映射，大部分前馈网络都是学习网络，比较适用于模式识别，分类和预测评价问题。典型的多层前馈网络有多层感知器（MLP）；误差反向传播网络（BP）；径向基函数神经网络（RBF）；小脑模型连接控制网络（CMAC）。
反馈网络：由于有反馈回路的存在，对神经网络的学习能力和决策都产生很大影响，需要一定的时间才能达到稳定。Hopfield网络；Boltzman网络；Kohonen网络。
学习算法：指一系列事先定义好的解决学习问题的规则，他决定了如何调整神经网络连接权值的方式。
学习算法涉及最优化理论，计算方法，信号处理等领域，除了一些基本的算法之外，还可以结合具体问题对经典算法做些改进或者从其他领域借鉴，如遗传算法；模拟退火算法；扰动算法；粒子群算法。

神经网络中常用的学习规则：
1.误差修正规则
2.Hebb学习规则
3.竞争学习：最常用的竞争学习规则Kohonen规则；Instar规则；Outstar规则。