智能计算之神经网络(Hopfield网络-DHNN,CHNN )介绍

洋洋菜鸟

已于 2022-06-21 20:31:43 修改

阅读量4.7k

点赞数 5

分类专栏：智能计算文章标签：神经网络网络人工智能

于 2022-06-21 19:40:29 首次发布

本文链接：https://blog.csdn.net/qq_25990967/article/details/125396815

版权

8. 霍普菲尔德(Hopfield )神经网络

8.5 离散型Hopfield神经网络(DHNN)

8.6 连续性Hopfield神经网络(CHNN)

8.7 连续型Hopfield神经网络解决TSP问题

1. 神经网络受欢迎的原因

人工神经网络之所以如此流行,源于人工神经网络具有的特点和优越性,主要表现在以下三个方面:
(1)具有自学习功能.例如,实现图像识别时,只要先把许多不同的图像样板和对应的识别结果输入人工神经网络,网络就会通过自学习功能,慢慢学会识别类似的图像.自学习功能对于预测有特别重要的意义,预期未来的人工神经网络计算机将为人类提供经济预测,市场预测,效益预测,其应用前途是很远大的.
(2)具有联想储存功能.用人工神经网络的反馈网络就可以实现这种联想．(3)具有高速寻找优化解的能力.寻找一个复杂问题的优化解,往往需要很大的计算量,利用一个针对某问题而设计的反馈型人工神经网络,发挥计算机的高速运算能力,可能很快找到优化解.

2. 人工神经网络定义

人工神经网络模拟人脑及其活动的一个数学模型,它由大量的处理单元(process element)通过适当的方式互联构成,是一个大规模的非线性自适应系统.1988年,Hecht-Nielsen曾经对人工神经网络给出了如下的定义:
“人工神经网络是一个并行、分布处理结构,它由处理单元及称为联结的无向信号通道互联而成.这些处理单元具有局部内存,并可以完成局部操作.每个处理单元有一个单一的输出连接,这个输出可以根据需要被分支多个并行联结,而且这些并行联结都输出相同的信号,即相应处理单元的信号及其信号的太小不因分支的多少而变化.处理单元的输出信号可以是任何需要的数学模型,每个处理单元中进行的操作必须是完全局部的.也就是说,它必须仅仅依赖于经过输入联结到达处理单元的所有输入信号的当前值和储存在处理单元局部范围的值.”

该定义主要强调了神经网络以下4个方面的内容:

        (1)并行、分布处理结构;
        (2)一个处理单元的输出可以被任意分支且大小不变;
        (3)输出信号可以是任意的数学模型;
        (4)处理单元的局部操作
        这里说的处理单元就是人工神经元(artificial neuron ,AN).

按照Rumellhart ,MeClelland , Hinton等提出的并行分布处理系统(paralleldistributed processing ,PDP)模型,人工神经网络由以下8个方面的要素组成:

        (1)一组处理单元(PE或AN);
        (2)处理单元的激活状态(a);
        (3)每个处理单元的输出函数(f);
        (4)处理单元之间的联结模式;
        (5)传递规则;
        (6)把处理单元的输入及当前状态结合起来产生激活值的激活规则(F);
        (7)通过经验修改联结强度的学习规则;
        (8)系统运行的环境(样本集合).

1987年.Simpson从人工神经网络的拓扑结构出发,给出了如下一个虽然不太严格但却简明扼要的定义:
“人工神经网络是一个非线性的有向图.图中含有可以通过改变权值大小来存放模式的加权边,并且可以从不完整或未知的输入找到模式.”
对一般的应用来说,人工神经网络除了可以叫做 PDP 以外,还可以叫做人工神经系统(ANS)、神经网络(NN)、自适应系统(adaptive systems)、自适应网(adap-tive networks),联结模型(connectionism)和神经计算机(neuron computer)等.

人工神经网络不仅在形式上模拟了生物神经系统,它在以下两个方面确实具有大脑的一些基本特征:
(1)神经元及其联结.从系统构成的形式上看,由于人工神经网络是受生物神经系统的启发构成的,从神经元本身到联结模式,基本上都是以与生物神经系统相似的方式工作的.这里的AN与生物神经元(BN)相对应,可以改变强度的联结则与突触相对应.
(2)信息的储存与处理.从表现特征上来看,人工神经网络也力求模拟生物神经系统的基本运行方式.例如,可以通过相应的学习/训练算法,将蕴含在一个较大数据集中的数据联系抽象出来,就像人们可以不断地探索规律,总结经验一样,可以从先前得到的例子找出一般规律或一般框架,再按要求产生出新的实例.

3. 人工神经网络的学习能力

        人工神经网络可以根据所在的环境来改变它的行为.也就是说,人工神经网络可以接受用户提交的样本集合,依照系统给定的算法,不断地修正用来确定系统行为的神经元之间联结的强度,而且在网络的基本构成确定之后,这种改变是根据其接受的样本集合自然地进行的.一般来说,用户不需要再根据所遇到的样本集合去对网络的学习算法作相应的调整,也就是说,人工神经网络具有良好的学习功能.
        神经网络与传统的人工智能系统的学习问题形成对照.在传统的人工智能系统的研究中,虽然人们对“机器学习”问题给予了足够的重视并倾注了极大的努力，但是,系统的自学习能力差依然是阻碍这些系统获得广泛应用的最大障碍,而人工神经网络具有良好的学习功能的这一性能,使得人们对它产生了极大的兴趣.人工神经网络的这一特性被称为“自然具有的学习功能”.
        在学习过程中,人工神经网络不断地从所接受的样本集合中提取该集合所蕴含的基本信息,并将其以神经元之间的联结权重的形式储存在系统中.例如,对于某一模式,可以用它的含有不同噪声的数据去训练一个网络,在这些数据选择得比较恰当的前提下,使得网络今后在遇到类似的含有一定缺陷的数据时,仍然能够得到它对应的完整的模式.这表明,人工神经网络可以学会按要求产生它从未遇到过的模式.人工神经网络的这一功能叫做“抽象”.

4. 人工神经网络的基本原理

神经元的结构如下：

在生物上有生物神经元，那生物神经元和人工神经元关系怎样呢？

从图中我们可大致得出人工神经元是如何模仿生物的神经元进行工作的过程：

在这里插入图片描述

5. 神经网络的研究进展

6. 神经网络的典型结构

人工神经网络有很多种不同的模型,通常可按以下5个原则进行归类。·

按照网络的结构区分,有前向网络和反馈网络。

按照学习方式区分,有有监督学习网络和无监督学习网络。

按照网络性能区分,有连续型和离散型网络,随机型和确定型网络。·按照突触性质区分,有一阶线性关联网络和高阶非线性关联网络。

按对生物神经系统的层次模拟区分,有神经元层次模型,组合式模型﹑网络层次模型﹑神经系统层次模型和智能型模型。