早早注册了csdn,结果研究生都快毕业了还没有写过一篇文章,平时碰到问题也就是百度谷歌一下,也没有好好把问题记下来,最近反思了一下,感觉自己真还是不配被称作一个合格的研究人员。
最近因为项目的原因,需要对mnist的识别率再提高一点,之前自己随随便便改改网络结构,效果居然还不错,最近看了两篇论文,才感觉到自己一直在闭门造车。分享几篇文章,略微做一些解读,可能有些错误或者偏差,希望大家谅解。
文章借鉴了知乎专栏文章的一些内容,这里放一下链接:https://zhuanlan.zhihu.com/p/31262148
1.Dynamic Routing Between Capsules
hinton的capsNet提出都已经快一年了,我居然没有好好的读过一点。文章建议替换CNN中的max pooling层,老师之前经常问我这个pooling层究竟是什么,有什么用,以前都是糊弄过去,现在想想姜还是老的辣,正紧的研究人员直觉非常的准。因为卷积神经网络在底层时使用的感受野只能对局部提取特征,但是我们在高层需要对整个图像的较大的区域提取出高层特征,这时候我们引入了pooling,pooling叫做聚合层,聚合的是啥玩意呢,我觉得是把一片区域的特征聚合到一个点上,这样我们用一个点表示之前一个区域的特征,顺便减小了输入的数据的空间大小,这样我们利用同样大小的感受野,就能感受到比之前更大的图片的一个区域。