人工神经网络
送你上西天
这个作者很懒,什么都没留下…
展开
-
学习率优化(一)
上节介绍了反向传播时权值更新方法,更新隐含层:;更新输出层:。看似已经完美的解决了问题,但是怎么取值呢?我们把问题转化到求二次函数极值问题,例如,如果用梯度下降法求函数极值,每一次的取值为,一步步趋近极小值。如果采用固定学习率:,初始值取,学习率使用0.01: 分析:经过200次迭代,;经过1000次迭代,;效果还可以,但这个学习率只使用于,如果改变函数还可以这个效果吗?还...原创 2018-07-17 22:24:09 · 1783 阅读 · 0 评论 -
反向传播BP
之前介绍的梯度下降法是最简单的神经网络--感知器网络。它是利用外界输入样本的刺激,通过不断迭代,修正权重向量,以使网络输出与期望输出减少差距,直至稳定。但感知器无法处理线性不可分的情况。1986年提出利用误差的反向传播原理设计了BP神经网络。BP网络改变了传统的网络结构,引入了新的分层和逻辑,基本解决了非线性的分类问题。BP网络基本结构:(1)输入层i。 输入向量: 输...原创 2018-07-15 12:45:50 · 991 阅读 · 0 评论 -
玻尔兹曼机BM
玻尔兹曼机(BM)神经元网络的运行:利用模拟退火算法,因为使用了玻尔兹曼分布作为激活函数,所以称为玻尔兹曼机,其原理其实是模拟退火算法。玻尔兹曼分布在统计力学中的表达形式为:E是状态能量(从一种状态变化到另一种状态),KT(分布常数)是玻尔兹曼常数与力学温度的乘积。系统两种状态间的玻尔兹曼分布的比率被称为玻尔兹曼因子,并且此特征仅依赖于状态能量差。 模拟退火算法是最优化处理理论和方法的一个方面,并...原创 2018-07-15 12:51:41 · 5192 阅读 · 0 评论