人工神经网络是由人工建立的有向图为拓扑结构的动态系统,他通过对联系或断续的输入做出状态响应而进行的信息处理。
神经网络是对生物神经系统功能的模拟而非结构的模拟
神经网络是由简单的信息处理单元组成的并行处理,平行计算,分布式存储的处理器,具有存储经验知识并利用有用知识处理问题的功能,可以把神经网络看成是一个自适应系统。
神经网络是对大脑的一种描述,可以看成一个数学模型或一种数值算法,可以利用电子线路或计算机程序来模拟实现;其次,神经网络的每个基本组成单元—神经元的特性非常简单,神经元之间广泛互连实现并行处理而表现出的群体特性非常复杂,甚至是混沌;另外神经网络通过学习过程可以从周围环境中获取知识,中间神经元的连接强度(权值)用来表示存储的知识。
已提出的神经网络模型大概100种,神经网络的结构分为两种基本类型:前馈(前向)网络和反馈(递归)网络。
前馈网络:是一种静态的非线性映射,大部分前馈网络都是学习网络,比较适用于模式识别,分类和预测评价问题。典型的多层前馈网络有多层感知器(MLP);误差反向传播网络(BP);径向基函数神经网络(RBF);小脑模型连接控制网络(CMAC)。
反馈网络:由于有反馈回路的存在,对神经网络的学习能力和决策都产生很大影响,需要一定的时间才能达到稳定。Hopfield网络;Boltzman网络;Kohonen网络。
学习算法:指一系列事先定义好的解决学习问题的规则,他决定了如何调整神经网络连接权值的方式。
学习算法涉及最优化理论,计算方法,信号处理等领域,除了一些基本的算法之外,还可以结合具体问题对经典算法做些改进或者从其他领域借鉴,如遗传算法;模拟退火算法;扰动算法;粒子群算法。
神经网络中常用的学习规则:
1.误差修正规则
2.Hebb学习规则
3.竞争学习:最常用的竞争学习规则Kohonen规则;Instar规则;Outstar规则。