我的英文博客 为了提高英文写作水平，我决定以后要用英文来撰写博客。我在github上用hexo建了一个静态网站，地址是http://happynear.wang/ ，欢迎大家来参观，也欢迎大家对我的行文错误进行指正。
Caffe中的特殊layer解释【慢慢填坑中】 slice：在某一个维度，按照给定的下标，blob拆分成几块。比如要拆分channel，总数50，下标为10,20,30,40，那就是分成5份，每份10个channel，输出5个layer。concat：在某个维度，将输入的layer组合起来，是slice的逆过程。split：将blob复制几份，分别给不同的layer，这些上层layer共享这个blob。tile：将blob的某个维度，扩大n倍。比
Windows下编译fast rcnn 一、准备caffe-windows：https://github.com/happynear/caffe-windows。如果你的caffe-windows版本是2015/07/09之前下载的，请重新下载并重新编译。重新编译时请首先编译python接口，因为马上就要用到。主程序和matlab接口可以有空的时候再编译。fast r-cnn：https://github.com/rbgirshick
利用随机前馈神经网络生成图像观察网络复杂度 零、声明 由于隔壁教研室的老师办了个深度学习的Call for Paper，所以我又把这个博客拿出来想做更深入的研究，但发现了一个重大bug，我在Batch Normalization层中，只考虑了scale的影响，而忘记了shift更是对网络所表达的函数具有很大影响。 请注意到下方Sigmoid+BN生成的图像中，所有的线条似乎都指向了图像的中点。这是因为如果设置shift=0的话，因为S
《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》阅读笔记与实现 本期要讲的是来自MSRA的何恺明的论文《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》，这篇论文是首次公开宣布图像的识别率超越人类水平的文章，其象征性意义确实巨大，论文出炉时也有很多报道，但我们今天不谈这些，只关注其技术细节。一、Sigmoid，ReLU与Leak
使用GraphViz画caffe的网络结构图 caffe的python接口中有一个很不错的功能：画网络结构图，虽然画得并不好看，但可以给人一种直观的感受。一、准备 首先caffe的python接口当然是必备的了，还没有生成python接口的同学可以参照我的上一篇博客来生成。 然后是需要安装protobuf的python接口，可以参照这篇博客进行安装，安装过程比较简单，就不赘述了。 安装GraphViz：http://www.gra
如何快糙好猛地在Windows下编译CAFFE并使用其matlab和python接口 零、最近更新2015/06/07 添加Insanity Layer（即randomized leaky rectified linear units），我也不知道为什么叫Insanity。。论文上说效果比PReLU还好些。 2015/06/05 将Caffe版本更新至6月5日的master分支，与上一版最大的不同在于matlab接口更加丰富，cudnn更新至v2版，所以要重新下载第三方库。 20
UFLDL上的ICA为什么一定要做PCA whiten Andrew Ng先生的UFLDL教程真可谓deep learning入门的首选课程。在两年前我看教程里讲ICA部分的（链接）时候，里面提到使用教程所述的ICA模型时，输入数据必须经过PCA白化操作，页面上有个TODO问为什么要这样做。以当年的我对机器学习的理解并不能解答这个问题，就只是按照教程上讲的写完了代码，后来就一直没有看过了。 今天在与人讨论无监督学习的几种损失函数的时候，提到了PCA
《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记与实现 《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记
变分贝叶斯求解0.01范数稀疏编码问题 参考文献：http://research.microsoft.com/en-us/people/davidwip/tutorials.aspx虽说公式推导很复杂，用了很多技巧，但最终的算法异常简单，在matlab中只需要几行程序。m=50;%y的维数n=100;%x的维数s=30;%稀疏度lambda=0.1;%公式中稀疏惩罚项前的系数Fai=randn(m,n
蚂蚁爬杆问题 今天QQ群里有人贴出一个这样的题目：一根棍子上面有无数只蚂蚁，假设两只蚂蚁碰到之后就会180度调头反向前进，碰到，再调头，直到棍子的某一头，然后掉下来；然后再假设1只蚂蚁从棍子的这头到那头一共需要5分钟，那么问题是：需要多少时间，这根棍子上所有的蚂蚁会掉下来？下面假设正方向蚂蚁为1，反方向蚂蚁为0最短时间是毫无疑问的，000000....01....111111，这样蚂蚁会
关于exe4j打包的java程序的破解 以前碰到过的打包的java程序都可以用winrar解压得到jar文件从而进行进一步的反编译，然而今天碰到一个用exe4j打包的程序，无法直接用winrar解压，上网查资料未果。后来想到这个程序的原理是将jar全部解压然后调用java运行库执行，于是到temp文件夹中搜索*.jar，果然找到了目标程序。很简单的原理，供后来者参考。
关注
