Artificial Neural Networks/Neural Networks/Neural Computing Conception

1.概念：

          对人脑或生物神经网络的抽象和建模，具有从环境学习的能力，以类似生物的交互方式适应环境。（不需要开发算法和规则来处理信息）

2.人脑处理信息的特点

          a。大规模并行处理：人脑善于在复杂的环境中做出判断，从整体上辨别事物。神经网络的大规模并行处理与多处理机构成的并行系统是不同的。

         b。具有很强的容错性，善于联想、概括、类比和推广：人脑和计算机处理信息方式的最大差别在于对信息的记忆和处理方式不同。计算机是信息的局部储存，按程序提取的有关信息送到运算器处理；人脑是通过改变突触的效能实现的，即信息存储在神经元间连接强度的分布上，信息的记忆和处理是合二为一的。（神经网络与其及其相似）

        c。具有很强的自适应能力。人脑具有很强的自适应和自组织性，神经网络强调系统的自适应或学习过程，同一网络因学习方法及内容的不同可具有不同的功能；符号处理强调         程序编写，系统的功能取决于编写者的知识和能力。

3.神经网络的研究目标：

       a。理解脑系统为何具有智能；b。研究各种强调“计算机能力”的神经网络模型；c。研究大规模并行自适应处理的机理。d。研究神经计算机的体系结构和实现技术。

4.神经信息处理的基本机理

        神经网络是由大量处理单元组成的非线性大规模自适应动力系统。ANN的基本属性：a.非线性。人工神经元处于激活或抑制两种状态的行为是非线性关系；b.非局域性：一个神经网络通常由多个神经元广泛连接而成，整体行为由各单元间相互作用连接决定。c.非定常性：神经网络在处理信息的同时，非线性动力系统本身也在不断变化。d.非凸性：一个系统的演化方向，取决于某个特定的状态函数，神经网络的这个状态函数有多个极值，故系统有多个较稳定的平衡状态，导致系统演化的多样性。

   人脑处理问题的自然机制是PDP模型（百度百科）：

PDP模型：英文全称是parallel distributed processing，中文称之为并行分布模型。该模型是Rumelhart，McClelland以及PDP研究组在1986年首先提出的。这个模型把我们的心灵堪称是“大规模并行的”，可以同时处理大量信息。并行分布模式同串行分布模式是相对的。

运行机制

并行分布模型是在大脑神经网络系统的启发下提出的，其基本原则是信息以分布式表征保存在记忆里，体现为单位之间的连接强度。学习正是通过连接强度的变化而产生的。

简要概括：PDP模型的信息处理是并行的，信息的表达是分布的，知识被各单元之间的连接所编码。知识是用连接强度表示的，学习的目的就是要找到一组正确的连接强度，以便产生正确的激活模式，处理本身也就是在使用知识，学习在处理过程中完成。

PDP模型的8个方面：

1.一组处理单元；包括输入单元（接收来自系统外部的输入信号），输出单元（向系统外部发送信号），隐单元（其输入和输出都在系统内部，从外部看不到）

2.单元集合的激活状态；系统的状态由一个N维实向量a(t)指定，它表示处理单元集上的激活模式。每个分量对应单元在t时刻的激活值。系统的处理过程即单元集上激活模式随时间演化过程。

3.各个单元的输出函数：每个单元都有一个输出函数Fi（ai（t）），它将单元当前的激活值ai(t)映射成一个输出信号oi（t），oi（t）=Fi（ai（t））。

4.单元之间的连接模式

5.通过连接网络传送.激活模式的传递规则；

6把单元的输入和它的当前的状态连接起来以产生新激活值的激活规则

7.通过经验修改连接模式的学习规则

8.系统运行的环境。

神经网络的分类：监督学习（感知器、LMS算法、反向传播网络，径向基函数网络）和无监督学习（SOM\ART\PCA常用于数据的聚类分析）