深度学习
cjw_seeker
这个作者很懒,什么都没留下…
展开
-
玻尔兹曼机(1)
本文是关于玻尔兹曼机的参数训练过程的介绍。因此基本知识请参照相关论文和博客介绍。 一个典型的玻尔兹曼机,可以表达成一个能量函数的指数形式,能量函数的具体表达式见网上其它的博客说明。这里简单记为:E(h,v)。v表示可视节点,h表示隐单元变量。那么一个玻尔兹曼机的概率表达式如下: 对于随机梯度下降,给定一个观测样本v’,那么似然函数为:原创 2016-09-22 21:47:11 · 496 阅读 · 0 评论 -
深度网络pre-train对于深度网络的意义
2016.10.111 pre-train 带来更好的优化还是更好的泛化?pre-train是一个寻网络权值初值的过程,将pre-train的结果作为BP算法的权值的初值,能够解决深度网络在非凸目标函数上陷入局部最优的问题。从这个角度理解更象是带来更好的优化能力。在带有pre-train的深度网络的泛化表现上不仅仅是训练误差很小,同时泛化误差也很小,下图可以看出带有pre-train的原创 2016-11-10 15:49:46 · 4796 阅读 · 0 评论 -
深度网络的学习问题
这这是一个4层网络随着BP算法每层激励输出的情况,对于这张图可以理解的信息如下:1 红线在前一百次的训练结果基本一致,可能的情况是第一层的权值变化太小,也就是说后向传播的误差信息很难反馈到这一层;2 绿线和蓝线的变化幅度反映了后向误差信息随着层数的增加,其变化越小;3 对于黑线的情况最奇怪: (1)第一方差基本为0也就是说输入层的差异信息在抵达第4层时候基本就没有了原创 2016-11-11 15:39:38 · 274 阅读 · 0 评论 -
pycaffe的小问题- -
Import caffe 出现如下问题: 」解决: export PYTHONPATH=$CAFFE_HOME/python >> ~/.bashrc source ~/.bashrc千万千万别写成: export PYTHONPATH=$CAFFE_HOME/python:$PYTHONPATH吐槽一下:千万别在百度搜解决方法了,简直了。。。。还是直接导c原创 2016-12-18 21:38:19 · 218 阅读 · 0 评论