深度学习
文章平均质量分 72
happynear
这个作者很懒,什么都没留下…
展开
-
UFLDL上的ICA为什么一定要做PCA whiten
Andrew Ng先生的UFLDL教程真可谓deep learning入门的首选课程。在两年前我看教程里讲ICA部分的(链接)时候,里面提到使用教程所述的ICA模型时,输入数据必须经过PCA白化操作,页面上有个TODO问为什么要这样做。以当年的我对机器学习的理解并不能解答这个问题,就只是按照教程上讲的写完了代码,后来就一直没有看过了。 今天在与人讨论无监督学习的几种损失函数的时候,提到了PCA原创 2015-03-25 23:13:42 · 4322 阅读 · 0 评论 -
使用GraphViz画caffe的网络结构图
caffe的python接口中有一个很不错的功能:画网络结构图,虽然画得并不好看,但可以给人一种直观的感受。一、准备 首先caffe的python接口当然是必备的了,还没有生成python接口的同学可以参照我的上一篇博客来生成。 然后是需要安装protobuf的python接口,可以参照这篇博客进行安装,安装过程比较简单,就不赘述了。 安装GraphViz:http://www.gra原创 2015-05-02 16:36:10 · 10015 阅读 · 0 评论 -
Caffe中的特殊layer解释【慢慢填坑中】
slice:在某一个维度,按照给定的下标,blob拆分成几块。比如要拆分channel,总数50,下标为10,20,30,40,那就是分成5份,每份10个channel,输出5个layer。concat:在某个维度,将输入的layer组合起来,是slice的逆过程。split:将blob复制几份,分别给不同的layer,这些上层layer共享这个blob。tile:将blob的某个维度,扩大n倍。比原创 2015-09-18 15:37:22 · 25279 阅读 · 14 评论 -
利用随机前馈神经网络生成图像观察网络复杂度
零、声明 由于隔壁教研室的老师办了个深度学习的Call for Paper,所以我又把这个博客拿出来想做更深入的研究,但发现了一个重大bug,我在Batch Normalization层中,只考虑了scale的影响,而忘记了shift更是对网络所表达的函数具有很大影响。 请注意到下方Sigmoid+BN生成的图像中,所有的线条似乎都指向了图像的中点。这是因为如果设置shift=0的话,因为S原创 2015-06-21 20:03:11 · 9023 阅读 · 3 评论 -
《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》阅读笔记与实现
本期要讲的是来自MSRA的何恺明的论文《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》,这篇论文是首次公开宣布图像的识别率超越人类水平的文章,其象征性意义确实巨大,论文出炉时也有很多报道,但我们今天不谈这些,只关注其技术细节。一、Sigmoid,ReLU与Leak原创 2015-05-02 16:48:40 · 22402 阅读 · 9 评论 -
Windows下编译fast rcnn
一、准备caffe-windows:https://github.com/happynear/caffe-windows。如果你的caffe-windows版本是2015/07/09之前下载的,请重新下载并重新编译。重新编译时请首先编译python接口,因为马上就要用到。主程序和matlab接口可以有空的时候再编译。fast r-cnn:https://github.com/rbgirshick原创 2015-07-09 21:44:22 · 26283 阅读 · 49 评论 -
《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记与实现
《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记翻译 2015-03-13 12:42:51 · 76104 阅读 · 30 评论 -
如何快糙好猛地在Windows下编译CAFFE并使用其matlab和python接口
零、最近更新2015/06/07 添加Insanity Layer(即randomized leaky rectified linear units),我也不知道为什么叫Insanity。。论文上说效果比PReLU还好些。 2015/06/05 将Caffe版本更新至6月5日的master分支,与上一版最大的不同在于matlab接口更加丰富,cudnn更新至v2版,所以要重新下载第三方库。 20原创 2015-04-29 21:46:46 · 95354 阅读 · 335 评论