【神经网络知识点01】
1.定义:神经网络是具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
2.感知机(Perceptron)由两层神经元组成,可以实现逻辑与、或、非运算,无法完成异或运算,即只能处理线性可分的问题。要想解决异或运算等非线性问题,可通过多层前馈神经网络解决。“前馈”并不意味着网络中的信号不能向后传,而是指网络拓扑结构上不存在环或回路。
3.读取训练集一遍称为进行了“一轮”(one round or one epoch)学习。
4.神经网络学到的东西,蕴含在连接权和阈值中。标准的BP算法每次只针对一个训练样本更新连接权和阈值。累计BP则针对累计误差最小化,它在读取整个训练集一遍后才对参数进行更新。标准BP与累计BP算法的区别类似于GD与SGD之间的区别。
5.增量学习(incremental learning)是指在学得模型后,再接收到训练样本时,仅根据新样本对模型进行更新,不必重新训练整个模型,并且先前学习到的有效信息不会被“冲掉”;在线学习(online learning)是指每次获得一个样本就进行一次模型更新。显然,在线学习是增量学习的特例,而增量学习可以视为“批模式”(batch-mode)的在线学习。
6.径向基函数(RBF)网络是一种单隐层前馈神经网络,使用RBF作为隐层的激活函数,具有足够多的隐层的RBF网络能够以任意精度逼近任意连接函数。
7.竞争学习是一种常用的无监督学习策略。常用的竞争神经网络有ART、SOM。
8.其它的神经网络有级联相关网络,递归神经网络,Boltzman机等。