论文笔记之Dynamic Routing Between Capsules

最新推荐文章于 2024-07-29 11:33:25 发布

BVL10101111

最新推荐文章于 2024-07-29 11:33:25 发布

阅读量7.1k

点赞数 7

分类专栏： dl 论文笔记

本文链接：https://blog.csdn.net/BVL10101111/article/details/78638170

版权

本文是关于Geoffrey Hinton在NIPS 2017发表的Capsule网络论文的笔记，探讨了CapsNet的动机、贡献、结构以及路由算法。Capsule将神经元替换为向量，其长度代表特征出现的概率，方向表示特征参数。通过路由算法取代最大池化，以捕捉特征间的关系。实验表明，CapsNet在分类和重构任务上表现出色，能有效表示特征的姿势和关系。

摘要由CSDN通过智能技术生成

相信大家最近被hinton的这篇capsule的论文刷屏了，这篇论文是发表在nips2017上的。

其实capsule这个概念最早是hinton的一篇发表在ICANN 2011上的论文中提出的，不过当初没有引起太大的关注。今年的早些时候，hinton也在多个公开场合表达capsule这样一种想法。

在此，笔者在这里记录下自己对这篇论文的理解。

首先在这里推荐几篇与这篇论文相关的，笔者认为比较有用的资源，可以帮助大家更加深入的理解此文。

1.Understanding Hinton’s Capsule Networks
2.Capsule Networks Explained
3.TensorFlow Pytorch Keras代码实现深度学习大神Hinton NIPS2017 Capsule论文
4.《What is wrong with convolutional neural nets?》by Geoffrey Hinton

一.Motivation

这里主要是总结一下motivation，如果想要更清楚的了解背后的原理，强烈推荐看一下这篇博客Understanding Hinton’s Capsule Networks。
此外这篇博客讲的也不错Capsule Networks Explained。最好都看一下。

1.传统的CNN很难发现特征之间的orientational 和 relative spatial 关系

2.max pool 必然会损失一些有用的信息，需要用其他方法代替

3.Equivariance, not invariance

这些motivation，多多少少都可以从hinton的公开演讲中得出，反而论文中提及的并不是很多。

二.Contribution

1.将原来神经网络中的每个神经元的标量替换成向量，称作capsule
1) 每个capsule（向量）的模长代表对应特征出现的概率
2) capsule的方向，即里面具体的值代表对应特征的一些实例化参数，such as pose (position, size, orientation), deformation, velocity, albedo, hue, texture

举个例子，下图的两张猫，可以分别用两个capsule（向量）表示，记为 $c_1,c_2$ ,因为表示的都是猫这一特征，所以