【胶囊网络-CapsNet】李宏毅CapsNet课程笔记

最新推荐文章于 2022-09-08 17:26:45 发布

百川AI

最新推荐文章于 2022-09-08 17:26:45 发布

阅读量4.5k

点赞数

分类专栏：机器学习 DeepLearning 文章标签： CapsNet Dynamic Routing 胶囊网络动态路由 Hinton

本文链接：https://blog.csdn.net/shine19930820/article/details/88784819

版权

DeepLearning 同时被 2 个专栏收录

41 篇文章 6 订阅

订阅专栏

机器学习

39 篇文章 9 订阅

订阅专栏

Capsule

神经网络和胶囊网络区别: 神经网络每个神经元输出的是一个标量，胶囊网络输出是一个向量。

在这里插入图片描述

一个神经元检测一种pattern，例如一个神经元检测往左的鸟嘴，一个神经元是检测往右的鸟嘴。
而胶囊是检测某一个种类的pattern。例如鸟嘴。

在这里插入图片描述

其中， $W^1, W^2$ 是通过训练决定的，而 $C_1, C_2$ 是通过动态路由算法得到的。可以拿max pooling做类比。

动态路由算法

在这里插入图片描述

通过内积来更新b，即 $u^i$ 与输出向量的内积越大，权重就越高。展开可以看到：

在这里插入图片描述

T是一个超参数。从这个结构来看，每一步的输出都是作为下一步的输入，与RNN很相似。

在这里插入图片描述

对于一个胶囊网络，具体形式也可以是CNN，将其max pooling和非线性变换用胶囊替代。
上图中，有两个任务，分别是分类和图像重构。

对于分类任务，每个胶囊的输出向量V， $V^1||$ 对应类别1的概率。n个类别做softmax之后就是归一化概率。
对于重构任务，利用胶囊的输出向量，输入到decoder网络，对图像进行重构。