神经网络中的能量函数

转载 2017年01月03日 09:42:27

能量函数(energy function)一开始在热力学中被定义,用于描述系统的能量值,当能量值达到最小时系统达到稳定状态。 
在神经网络(Neural Network)中,在RBM中被首次使用。在RBM中,输入层v和隐藏层h之间的能量函数定义为: 

E(v,h)=ivaivi+jhbjhj+iv,jhvihjwij

将a,v,b,h和w向量表示成矩阵,这个式子可以简化为 
E(v,h)=A×V+B×H+V×W×H

A,B,W都是权重矩阵,从式中可以看出,这个能量函数为V和H的加权与VH的加权和。在后续的步骤中,v和h的联合概率为p(v,h)=1zeE(v,h),其中z为归一化因子。训练的目的为使得联合概率尽量大,即能量函数尽量小。从这个角度出发,能量函数的意义与热力学相同,能量函数值越小,系统趋于稳定。所以能量函数是反映系统稳定程度的参考指标,在这个意义上与代价函数(cost function)相似。 
Bengio 大牛在其 2003年的JMLR 论文中的未来工作一段,他提了一个能量函数,把输入向量和输出向量统一考虑,并以最小化能量函数为目标进行优化。在这个意义上,能量函数和代价函数本质上是一样的。

神经网络激活函数汇总

  • 2017年11月04日 16:45
  • 2.07MB
  • 下载

神经网络Loss损失函数总结

这篇博文总结一下损失函数,这里重点总结一下常用的损失函数。 softamx cross entropy loss softmax 交叉熵损失函数是我们常用的一种损失函数,其公式如下: E(t...

神经网络遗传算法函数极值寻优

  • 2016年12月28日 09:59
  • 99KB
  • 下载

BP神经网络实现函数拟合

  • 2014年01月21日 09:42
  • 4.77MB
  • 下载

【机器学习】神经网络-激活函数-面面观(Activation Function) (Sigmoid Relu tanh)

本博客仅为作者记录笔记之用,不免有很多细节不对之处。 还望各位看官能够见谅,欢迎批评指正。 更多相关博客请猛戳:http://blog.csdn.net/cyh_24 如需转载,请附上本文链接:...
  • taree
  • taree
  • 2017年03月27日 16:21
  • 545

第2章MATLAB神经网络工具箱函数

  • 2012年08月25日 08:16
  • 1.43MB
  • 下载

径向基函数神经网络模型与学习算法

1985年,Powell提出了多变量插值的径向基函数(RBF)方法。1988年Moody和Darken提出了一种神经网络结构,即RBF神经网络,属于前向神经网络类型,它能够以任意精度逼近任意连续函数,...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:神经网络中的能量函数
举报原因:
原因补充:

(最多只允许输入30个字)