CHAOTIC NN NOTE （一）2018-11-19

来自互联网网络知识

本系列是自己学习记录，如有侵犯请联系。

网络知识

当神经网络实际应用中，网络输入发生较大变异时，应用网络的固有容错能力往往感到不足，经常会发生失忆现象。混沌神经网络动态记忆属于确定性动力学运动，记忆发生在混沌吸引子的轨迹上，通过不断地运动(回忆过程)一一联想到记忆模式，特别对于那些状态空间分布的较接近或者发生部分重叠的记忆模式，混沌神经网络总能通过动态联想记忆加以重现和辨识，而不发生混淆，这是混沌神经网络所特有的性能，它将大大改善Hopfield神经网络的记忆能力。混沌吸引子的吸引域存在，形成了混沌神经网络固有容错功能。这将对复杂的模式识别、图像处理等工程应用发挥重要作用。
混沌神经网络受到关注的另一个原因是混沌存在于生物体真实神经元及神经网络中，并且起到一定的作用，动物学的电生理实验已证实了这一点。
混沌神经网络由于其复杂的动力学特性，在动态联想记忆、系统优化、信息处理、人工智能等领域受到人们极大的关注。针对混沌神经网络具有联想记忆功能，但其搜索过程不稳定，提出了一种控制方法可以对混沌神经网络中的混沌现象进行控制。研究了混沌神经网络在组合优化问题中的应用。
为了更好的应用混沌神经网络的动力学特性，并对其存在的混沌现象进行有效的控制，仍需要对混沌神经网络的结构进行进一步的改进和调整，以及混沌神经网络算法的进一步研究。
反馈神经网络Hopfield网络
神经网络的学习方式包括三种：监督学习、非监督学习、灌输式学习。对于Hopfield网络的权值不是经过反复学习获得的，而是按照一定的实现规则计算出来，在改变的是网络的状态，直到网络状态稳定时输出的就是问题的解。
Hopfield网络分为连续性和离散型，分别记为CHNN和DHNN。这里主要讲解DHNN。
DHNN的特点是任一神经元的输出xi均通过链接权wij反馈至所有神经元xj作为输入，目的是为了让输出能够受到所有神经元的输出的控制，从而使得各个神经元的输出相互制约。每个神经元均设有一个阈值Tj，以反映对输入噪声的控制。DHNN可简记为N=（W,T）。
（1） 网络的状态
所有神经元的状态集合构成了反馈网络状态X=（x1,x2,x3,…,xn），反馈网络的输入就是网络的状态初始值，X（0） = （x1(0),x2(0),x3(0),…,xn(0)）。反馈网络在外界输入的激发下，从初始状态进入动态演变过程，其间每个神经元的状态不断变化，变化规律为：xj = f（net-j），f为转移函数，常采用符号函数，则神经元j的净输入net-j = sum(wji*xi - Tj)，对于DHNN网，一般有wii = 0， wji= wij。即权矩阵的对角线元素为0，且为对阵矩阵。表示神经元i的输出不反馈到神经元i，而是反馈到神经元i以外的所有神经元的输入端。
反馈网络稳定时每个神经元的状态都不再改变，即X(t) = X(t+1) = … = X(∞)。
（2） 网络的异步工作方式
串行，网络每次只对一个神经元的状态进行调整计算，其他均不变。这样调整的顺序就有一定的影响了。可以随机选定或者按照固定的顺序。本次调整的结果会在下一个神经元的净输入中发挥作用。
（3） 网络的同步工作方式
并行，所有神经元同时进行状态调整计算
2. 网络的稳定性与吸引子
（1） 稳定性
反馈网络是一种能够存储若干预先设置的稳定点的网络，作为非线性动力学系统，具有丰富的动态特性，如稳定性、有限环状态和混沌状态等；
稳定性指的是经过有限次的递归后，状态不再发生改变；
有限环状态指的是限幅的自持震荡；
混沌状态指的是网络状态的轨迹在某个确定的范围内变迁，既不重复也不停止，状态变化无穷多个，轨迹也不发散到无穷远。
对于DHNN，由于网络状态是有限的，不可能出现混沌状态。
利用Hopfield网络可实现联想记忆功能：用网络的稳态表示一种记忆模式，初始状态朝着稳态收敛的过程便是网络寻找记忆模式的过程，初态可视为记忆模式的部分信息，网络演变可视为从部分信息回忆起全部信息的过程，从而实现联想记忆。
可实现优化求解问题：将带求解问的目标函数设置为网络能量函数，当能量函数趋于最小时，网络状态的输出就是问题的最优解。网络的初态视为问题的初始解，而网络从初始状态向稳态的收敛过程便是优化计算过程，这种寻优搜索是在网络演变过程中自动完成的。
（2） 吸引子与能量函数
网络的稳定状态X就是网络的吸引子，用于存储记忆信息。网络的演变过程就是从部分信息寻找全部信息，即联想回忆过程。吸引子有以下的性质：
X=f(WX-T)，则X为网络的吸引子；
对于DHNN，若按异步方式调整，且权矩阵W为对称，则对于任意初态，网络都最终收敛到一个吸引子；
对于DHNN，若按同步方式调整，且权矩阵W为非负定对称，则对于任意初态，网络都最终收敛到一个吸引子；
X为网络吸引子，且阈值T=0，在sign(0)处，xj(t+1) = xj(t)，则-X也一定是该网络的吸引子；
吸引子的线性组合，也是吸引子；
能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域；
对于异步方式，若存在一个调整次序，使网络可以从状态X演变为Xa，则称X弱吸引到Xa；若对于任意调整次序，网络都可以从X演变为Xa，则称X强吸引到Xa。则对应弱吸引域和强吸引域。
若使反馈网络具有联想能力，每个吸引子都应该具有一定的吸引域，只有这样，对于带有一定噪声或缺损的初始样本，网络才能经过动态演变而稳定到某一个吸引子状态，从而实现正确联想。反馈网络设计的目的就是要使网络能落到期望的稳定点上，并且还要具有尽可能大的吸引域，以增强联想功能。
3. 网络的权值设计
吸引子的分布是由网络权值包括阈值决定的，设计吸引子的核心就是如何设计一组合适的权值，为了使得所设计的权值满足要求，权值矩阵应符合以下要求：
（1） 为保证异步方式网络收敛，W为对称矩阵；
（2） 为保证同步方式网络收敛，W为非负定对称矩阵；
（3） 保证给定的样本是网络的吸引子，并且要有一定的吸引域。
根据应用所要求的吸引子数量，可以采用以下不同的方法：
（1） 联立方程法
对于吸引子较少时，可采用该方法。
（2） 外积和法
对于吸引子较多时，可采用该方法。采用Hebb规律的外积和法。

混沌系统是指某种对初始条件敏感的内在变化的系统。这一特性使得对系统施加极小的扰动就可以对系统运动产生重大变化，有可能在混沌条件下，经过特定选择微小信号来灵活、有效的控制系统的运动结果。