人工神经网络是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间的相互连接关系,从而达到处理信息的目的。
起源:
1943年,心理学家 W.Mcculloch 和数理逻辑学家 W.Pitts 首先提出。
1950’s,F.Rosemblatt 制造了“感知机”。
1960’s,Widrow 提出了自适应线性网络。
1980’s,Hopfield 提出了 Hopfield 反馈网络,人工神经网络研究进入热潮。
1943 年,冯诺依曼提出了以简单神经元构成的再生自动网络及结构。
2014 年,IBM 的 SyNAPSE 项目推出了 TrueNorth 芯片,借鉴神经元工作原理及其信息传递机制,实现了存储于计算的融合。
2015 年10 月,欧盟 HBP 项目在《Cell》上发表文章称,成功模拟了3万个神经元和3700万个神经突触。
从2008年起,中科院计算所开始“寒武纪”项目,寒武纪2号是目前世界上最快的人工神经网络架构。
北京大学在忆阻器、神经网络芯片研究。在氧化物忆阻器研究中,保持在国际领先水平上。
原理
人脑有一千亿神经元,超过一百万亿突触,通过突触来传递信息,通过神经元来存储和处理信息。
人工神经网络是通过基本单元–神经元连接起来的自适应非线性动态系统。首先以一定的规则进行学习,然后根据学习的结果进行推理判断等功能。神经元个数越多,他能记忆、识别的模式也就越多。
模型
神经元包括:连接、加法器、激活函数,一般还包括外部偏置。
一个神经元可以用以下公式表示:
其中:
xi
表示输入信号
yk
表示神经元输出信号
ωik
神经元的突触权值
uk
表示输入信号线性组合器的输出
bk
神经元单元的偏置
f(⋅)
激活函数
激活函数主要有以下三种:
(1)、值域函数
(2)、分段线性函数
(3)、非线性转义函数
单极性S函数:
双极性S函数:
特点
(1)、分布式存储信息
(2)、并行协同处理信息
(3)、信息存储和处理合一
(4)、学习能力