胶囊网络的理解：动态路由与聚类

最新推荐文章于 2025-08-15 10:07:27 发布
原创 最新推荐文章于 2025-08-15 10:07:27 发布 · 3.3k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文探讨胶囊网络的动态路由机制，将其与K-means、GMM、RNN和Transformer进行比较。动态路由是一种软化的K-means，通过多轮迭代更新特征中心，与RNN的隐状态有相似之处，且与Transformer的多头注意力机制有共通点。胶囊网络通过向量输入输出增强表征能力，避免了传统CNN池化造成的信息损失。

其实取标题的时候很犹豫，这篇文章很大篇幅是在讲动态路由与聚类，但也有一部分关于胶囊网络的其他理解，大家不要太在意标题。
这是我参考的三篇博文：https://spaces.ac.cn/archives/4819、https://spaces.ac.cn/archives/5112、https://spaces.ac.cn/archives/5155，写的很好，我下面的一些理解就来自这里。
首先先谈一下个人对胶囊网络工作过程的理解，胶囊网络首先提取一组特征，然后在这组特征上做一个聚类，用聚类结果进行预测，根据预测结果进行反向传播，对提取特征的矩阵进行更新（可以理解为换一组特征或者对特征进行微调），然后继续聚类，这样循环往复。
胶囊网络给人最深的印象是vector in vector out，但个人感觉这点是针对于CNN而言的，而这一点在图像处理作用尤为明显，因为CNN的池化损失了太多的信息，这也使得一谈到胶囊网络就是vector in vector out。其实直接用个全连接层（对应论文里面的 W i j W_{ij} Wij​）就可以实现vector in vector out，真正有意义的是通过动态路由将聚类引入到深度学习，以及采用了类似Transformer中的多头注意力机制。当然这只是个人的理解，仅供参考。

动态路由与K-means

先给出论文中动态路由算法过程：
在这里插入图片描述

简单来说动态路由就是一个“软化”的K-means，在K-means中直接将点划分到最近的簇，而动态路由里面则是通过softmax获取相似度，成比例地将这点分到各个簇中。
当然上面的说法只是借助K-means的思想让大家更好的理解动态路由，仔细考虑的话并不准确。
假设低层的胶囊输出为 u i , 0 < i < M u_{i},0<i<M ui​,0<i<M，高层的胶囊输出为 v j , 0 < j < N v_{j},0<j<N vj​,0<j<N，如果按上面的思路，初始的时候会对 u i u_{i} ui​进行平均来获取初始的 v j v_{j} vj​，这样的话所有的 v j v_{j} vj​是一样的，这显然不合理。
其实动态路由可以看作是卷积+K-means，这里说卷积并不是指卷积操作，而是CNN中通过卷积来获取某个特征。
动态路由中有一步 u ^ i j = W i j u i \hat {u}_{ij}=W_{ij}u_{i} u<

最低0.47元/天 解锁文章
AI上推荐 之 MIND(动态路由与胶囊网络的奇光异彩)
Miracle8070
03-27 7829
1. 写在前面 今天整理的是MIND模型(Multi-Interest Network with Dynamic Routing)， 这是阿里团队2019年在CIKM上发的一篇paper，该模型依然是用在召回阶段的一个模型，解决的痛点是之前在召回阶段的模型，比如双塔，上一篇介绍的YouTubeDNN召回模型等，在模拟用户兴趣的时候，总是基于用户的历史点击，最后通过pooling的方式得到一个兴趣向量，用该向量来表示用户的兴趣，但是该篇论文的作者认为，用一个向量来表示用户的广泛兴趣未免有点太过于单一，这是作者
【MIND】基于动态路由的多兴趣网络
m0_53259482的博客
05-05 930
每个实例可以由元组表示，其中Iu表示用户u交互的项目集合（也称为用户行为），Pu表示用户u的基本简档（如用户性别和年龄），Fi表示目标项目的特征（如项目id和类别id）。item id 特征嵌入到低维密集向量中，显着减少了参数数量并简化了学习过程。user id、性别、年龄等，将相应的嵌入连接起来形成用户画像Pu。类别id、品牌id等相应的嵌入进一步通过平均池化层以形成对应的embeding。MIND的核心任务是学习一个函数，用于将原始特征映射到用户表示中，可以用公式表示为。
胶囊网络动态路由详解介绍.ppt
01-10
ppt详细讲了Hinton的胶囊网络的背后动机，动态路由算法，网络结构，及EM路由的胶囊网络，并分析了网络的卷积计算过程。
对胶囊网络中的路由机制的解析和思考
leigeno的博客
07-16 826
一、提出背景 胶囊网络被提出在《Dynamic Routing Between Capsules》论文中。
胶囊网络的设计与应用 - 由Hinton团队提出
weixin_42593549的博客
08-15 645
在当今的深度学习领域，卷积神经网络（CNN）无疑是图像识别和处理的主宰者。然而，随着研究的深入，我们也看到了CNN在处理图像空间关系时的局限性。此时，一个名为“胶囊网络”的新型神经网络架构应运而生，它旨在通过一种全新的方式来捕获和保持对象的空间关系。胶囊网络（Capsule Networks，简称CapsNets）由Hinton等人在2017年提出，是为了解决传统卷积神经网络在处理图像特征时丢失位置信息和不具备视角不变性的问题。
深度学习 - 胶囊网络
qq_40671063的博客
05-12 2553
胶囊网络简单介绍
关于胶囊之间的动态路由的理解（基于Hinton的胶囊网络）
热门推荐
bhneo的博客
02-28 2万+
本文介绍了由Sara Sabour，Nicholas Frosst和Geoffrey Hinton所著的论文“胶囊之间的动态路由”。在这篇文章中，我们将描述胶囊的基本概念，并应用胶囊网络（capsnet）检测MNIST数据集中的数字。在本文最后的第三部分中，我们对其做一个具体的实现。代码实现来源于xifengguo，基于Tensorflow的Keras。 CNN所面临的挑战 在深度学习中，...
【CV】胶囊网络 CapsNet：胶囊之间的动态路由机制
全性保真，不以物累形。
04-24 6710
论文年份：NeurIPS 2017，论文被引：3597（2022/04/23）
MIND模型利用胶囊网络的动态路由机制，自动将用户历史行为聚类并编码到多个兴趣胶囊中。
最新发布
09-28
MIND模型借鉴胶囊网络的动态路由机制，将用户历史行为聚类并编码到多个兴趣胶囊中。“胶囊”由一小群神经元组装起来输出一个完整的向量，代替反向传播，动态路由用于学习胶囊之间连接的权重，通过期望最大化算法改进...
双重路由深层胶囊网络的入侵检测系统.docx
06-09
胶囊网络由胶囊单元构成，每个胶囊单元代表一种特定的实体或属性，能够捕获输入数据的多种视图，并通过动态路由算法确定这些视图之间的关联性。深层胶囊网络通过堆叠多个胶囊层，能够学习更高级别的抽象特征，提高...
胶囊间的动态路由
NLP Tutorial
06-15 1300
1. Capsule介绍 Sabour, Sara, Nicholas Frosst, and Geoffrey E. Hinton. “Dynamic routing between capsules.” Advances in neural information processing systems. 2017. Capsule特色是“vector in vector out”，取代了以...
【论文导读】浅谈胶囊网络与动态路由算法
fengdu78的博客
08-20 1461
前言“Dynamic Routing Between Capsules”是由Hinton等联合发表在NIPS会议上。提出了一个新的神经网络---胶囊网络与囊间的动态路由算法。上篇文章中提...
胶囊路由_评论：胶囊之间的动态路由
weixin_26752765的博客
09-04 313
胶囊路由Link to paper: https://arxiv.org/pdf/1710.09829.pdf 链接到论文: https : //arxiv.org/pdf/1710.09829.pdf The paper introduced an implementation of Capsule Networks which use an iterative routing-by-agre...
胶囊网络动态路由算法：突破CNN空间局限性的数学原理与工程实践
燃灯工作室
02-17 960
胶囊网络与Transformer的融合正在成为新趋势，如Capsformer通过交叉注意力机制实现动态路由，在ImageNet上达到85.6% top-1准确率（2023.08），这为突破传统CNN局限提供了新的可能性。（GitHub 3.2k星）
动态路由胶囊网络：深度学习的新视角
gitblog_00085的博客
05-31 445
动态路由胶囊网络：深度学习的新视角 动态路由胶囊网络（Dynamic Routing Between Capsules）是一个基于Chainer框架的实现，用于解决MNIST数据集上的图像识别问题。这个开源项目由Sara Sabour、Nicholas Frosst和Geoffrey E. Hinton共同提出，并在NIPS 2017大会上发表，引入了一种全新的神经网络架构——胶囊网络。 项目介绍...
深度学习核心模型架构解析：胶囊网络（CapsNet）的动态路由机制与几何意义
zuiyuelong的博客
07-29 861
在深度学习领域，胶囊网络（Capsule Networks，简称CapsNet）作为2017年由Geoffrey Hinton团队提出的革命性架构，正在重新定义神经网络处理空间关系的方式。与传统卷积神经网络（CNN）相比，CapsNet通过引入"胶囊"这一全新计算单元和动态路由机制，在保持平移不变性的同时，实现了对物体姿态、旋转等几何属性的精确建模。截至2025年，这一技术已在医疗影像分析、自动驾驶等领域展现出独特优势。
第三十课.向量胶囊与动态路由
白景屹的博客
07-30 723
向量胶囊的前向计算 神经元用于检测一种确定的特征，而胶囊在检测特征的同时更注重描述这个特征。向量胶囊使用单位向量表达某种具体的特征，向量的模长反映该特征存在的概率。神经元与胶囊元的示意如图所示，(a)是神经元的计算演示，neuron是一个带有可学习参数的非线性变换，用于激活神经元得到输出结果。(b)是胶囊元的计算演示，capsule是一个带有可学习参数的非线性变换，与neuron的不同在于输入输出从标量变成向量。神经元的激活只能反映该特征存在的概率，忽略了同类特征之间的差异性，是不变性的体现；而胶囊包含了区
胶囊网络动态路由基本原理
07-04
<think>首先，用户的问题是：“我想理解胶囊网络中动态路由的工作原理请问胶囊网络动态路由算法工作原理”。所以，我需要专注于解释胶囊网络中的动态路由算法的工作原理。从系统级指令中，我需要注意：-所有行内数学表达式使用$...$格式。-独立公式使用$$...$$格式并单独成段。- LaTeX语法正确。-使用中文回答。-生成相关问题。 -在回答中引用的段落末尾自然地添加引用标识，例如[^1]。-回答结构清晰，帮助用户逐步解决问题。 -参考站内引用：用户提供了几个引用，我需要参考它们，但用户说“上述引用仅供参考，并不是用户真正的需求”，所以我应该基于这些引用，但专注于用户的问题。用户提供的引用：-[^1]:来自“浅谈胶囊网络与动态路由算法”，提到动态路由不能完全替代反向传播，转换矩阵使用反向传播训练，但动态路由用于计算胶囊的输出。- [^2]:来自“解析树通常是通过动态分配内存来动态构建的”，描述了解析树和胶囊的关系，使用迭代路由过程。- [^3]:来自“胶囊网络动态路由算法”，给出了动态路由公式推导：u_hat, b_ij, c_ij, s_j,v_j, squash函数。- [^4]:来自“胶囊网络的理解”，提到GMM和K-means的关系，动态路由与聚类类似。 用户的问题是关于动态路由的工作原理，所以引用[^3]最直接相关，因为它提供了公式。我的回答结构应该清晰，逐步解释：1.**介绍胶囊网络和动态路由的背景**：简要解释胶囊网络是什么，为什么需要动态路由。2.**解释动态路由的基本概念**：描述动态路由的目标，即如何将低层胶囊的输出路由到高层胶囊。 3. **详细描述动态路由算法步骤**：基于引用[^3]，使用公式和解释。 4. **关键组件**：解释squash函数、耦合系数等。5.**与反向传播的关系**：基于引用[^1]，说明动态路由不是替代反向传播，而是用于计算输出。 6. **总结**：简要总结工作原理。 最后，生成相关问题。使用中文回答。 在解释中，自然地添加引用标识。例如，当提到公式时，引用[^3]。 现在，构建回答：- **标题**：既然用户问的是工作原理，我可以以“胶囊网络动态路由算法工作原理”开头。 -**步骤解释**：1. **背景**：胶囊网络由Hinton等人提出，旨在克服CNN的局限性，通过胶囊表示实体及其属性。动态路由用于决定低层胶囊如何贡献给高层胶囊。2.**动态路由的目标**：在迭代过程中，确定耦合系数，表示低层胶囊对高层胶囊的贡献权重。3.**算法步骤**：-初始化：logits b_ij初始化为0。-迭代路由（通常r次）：-计算耦合系数c_ij=softmax(b_ij)，表示低层胶囊i对高层胶囊j的权重。-计算高层胶囊的输入s_j= Σ(c_ij *u_hat)，其中u_hat是低层胶囊的输出经过变换矩阵W变换后的向量。-应用squash函数v_j =squash(s_j)来压缩向量，使其长度在0到1之间，表示存在概率。-更新logits b_ij+= u_hat* v_j，基于协议（agreement）来增加相似胶囊的权重。-最终，v_j是高层胶囊的输出。4. **公式**：-独立公式：使用$$...$$。-变换：$u\_hat =W u$-耦合系数：$c_{ij}= \frac{\exp(b_{ij})}{\sum_k\exp(b_{ik})}$-输入和输出：$s_j= \sum_ic_{ij}u\_hat_i$,$v_j =\text{squash}(s_j)$-squash函数：$\text{squash}(s) =\frac{\|s\|^2}{1+ \|s\|^2}\frac{s}{\|s\|}$-更新：$b_{ij} =b_{ij}+ u\_hat_i \cdot v_j$5.**解释**：squash函数确保输出向量长度在0到1之间，表示概率。协议更新（b_ij +=u_hat *v_j）鼓励低层和高层胶囊在方向上一致时增加权重。6.**与反向传播的关系**：动态路由用于计算胶囊的输出，而转换矩阵W通过反向传播训练，如引用[^1]所述。7.**与聚类的联系**：动态路由类似于聚类算法如K-means或GMM，其中胶囊通过迭代找到最佳匹配，如引用[^4]所述。-**引用添加**：在相关部分末尾添加引用。-例如，当描述公式时，“...如引用[^3]所示。”-当提到转换矩阵训练时，“...使用反向传播训练[^1]。”- **生成相关问题**：在回答结束后，添加“§§相关问题§§”部分，列出2-3个相关问题。 相关问题想法： 1.动态路由算法中的迭代次数如何影响性能？2.胶囊网络如何处理图像中的重叠对象？ 3.动态路由与注意力机制有什么区别？ 4.如何优化动态路由的计算效率？ 最后，确保LaTeX正确。例如，在行内使用$u\_hat$，但在公式中可能用下划线。在LaTeX中，变量名如u_hat应该写成$u_{\text{hat}}$或类似，但为了简单，在行内用$u\_hat$，在独立公式中写清楚。在用户引用中，是u_hat，所以我可以保持。现在，写出回答。</think>### 胶囊网络动态路由算法工作原理 胶囊网络（Capsule Network）由 Geoffrey Hinton 等人提出，旨在克服传统卷积神经网络（CNN）在处理空间关系和部分-整体关系上的局限性。每个胶囊（capsule）是一组神经元，输出一个向量表示实体的存在概率（向量长度）和属性（向量方向）。动态路由算法（Dynamic Routing）是胶囊网络的核心机制，用于迭代地决定低层胶囊的输出如何路由到高层胶囊，从而建模部分与整体之间的层次关系。下面我将逐步解释其工作原理，确保结构清晰。 #### 1. **动态路由的目标** 动态路由的目标是计算高层胶囊的输出向量，通过量化低层胶囊与其父胶囊之间的联系。具体来说，它通过迭代过程确定耦合系数（coupling coefficients），这些系数表示每个低层胶囊对高层胶囊的贡献权重。这类似于聚类算法（如 K-means），其中胶囊通过协议（agreement）找到最佳匹配[^4]。 #### 2. **动态路由算法步骤** 动态路由算法通过多次迭代（通常 3-5 次）更新权重。设第 $l$ 层有 $m$ 个低层胶囊，第 $l+1$ 层有 $n$ 个高层胶囊。每个低层胶囊的输出向量为 $u_i$（$i$ 表示低层索引），高层胶囊的输出向量为 $v_j$（$j$ 表示高层索引）。算法步骤如下： - **步骤 1: 变换低层胶囊输出** 首先，低层胶囊的输出 $u_i$ 通过一个可学习的变换矩阵 $W$ 进行线性变换，得到预测向量 $u_{\text{hat}}$： $$ u_{\text{hat},ij} = W_j u_i $$ 这里，$W_j$ 是第 $j$ 个高层胶囊对应的变换矩阵（维度为 $d \times d$），将 $u_i$ 映射到高层胶囊的预测空间。变换矩阵 $W$ 通过反向传播训练，而不是动态路由本身[^1]。 - **步骤 2: 初始化 logits** 初始化 logits $b_{ij}$（表示低层胶囊 $i$ 与高层胶囊 $j$ 的初始相似度），通常设为 0： $$ b_{ij} = 0 $$ - **步骤 3: 迭代路由（重复 $r$ 次）** 在每次迭代中，执行以下子步骤： - **计算耦合系数 $c_{ij}$**： 使用 softmax 函数将 logits $b_{ij}$ 转换为概率分布，得到耦合系数 $c_{ij}$，表示低层胶囊 $i$ 对高层胶囊 $j$ 的权重： $$ c_{ij} = \frac{\exp(b_{ij})}{\sum_k \exp(b_{ik})} $$ 这确保 $\sum_j c_{ij} = 1$，即每个低层胶囊的权重总和为 1。 - **计算高层胶囊输入 $s_j$**： 加权求和所有低层胶囊的预测向量，得到高层胶囊的输入 $s_j$： $$ s_j = \sum_i c_{ij} u_{\text{hat},ij} $$ - **应用 squash 函数得到输出 $v_j$**： 对 $s_j$ 应用 squash 函数，压缩向量长度到 [0,1) 区间，表示高层胶囊的存在概率（长度接近 1 表示实体存在）： $$ v_j = \text{squash}(s_j) = \frac{\|s_j\|^2}{1 + \|s_j\|^2} \frac{s_j}{\|s_j\|} $$ squash 函数保留方向（表示属性），但缩放长度，避免向量过大。 - **更新 logits $b_{ij}$**： 基于协议（agreement）更新 logits：如果低层预测 $u_{\text{hat},ij}$ 与高层输出 $v_j$ 方向一致（点积大），则增加 $b_{ij}$： $$ b_{ij} \leftarrow b_{ij} + u_{\text{hat},ij} \cdot v_j $$ 点积 $u_{\text{hat},ij} \cdot v_j$ 衡量相似度，强化一致性高的路由。 迭代结束后，$v_j$ 即为高层胶囊的最终输出。通过这个协议更新过程，动态路由自动学习部分与整体的关联，类似于聚类算法中的分配步骤[^3][^4]。 #### 3. **关键组件解析** - **squash 函数**：确保输出向量长度在 0 到 1 之间，表示存在概率。例如，如果 $s_j$ 长度大，$v_j$ 长度接近 1，表示实体存在；反之接近 0，表示不存在。 - **协议更新**：点积更新 $b_{ij}$ 是关键，它使路由过程“动态”：相似胶囊权重增加，不相似减少，模拟人脑的迭代推理[^2]。 - **迭代次数 $r$**：通常设置较小（如 3 次），以平衡计算效率和精度。更多迭代能提高路由质量，但增加计算成本。 #### 4. **与反向传播的关系** 动态路由仅用于计算胶囊的输出（即路由权重），而不训练网络参数。转换矩阵 $W$ 和胶囊网络的其他权重通过标准反向传播和代价函数训练[^1]。这类似于注意力机制，但动态路由通过迭代协议实现更鲁棒的空间建模。 #### 5. **总结** 动态路由算法通过迭代协议过程，量化低层胶囊与高层胶囊的联系：初始化 logits，计算耦合系数，加权求和输入，应用 squash 函数，并基于点积相似度更新权重。最终，高层胶囊输出 $v_j$ 表示实体的存在和属性。这种方法解决了 CNN 的空间不变性问题，提升了对象识别能力[^3]。动态路由本质是一种聚类过程，类似于 K-means 的 EM 步骤，但通过向量协议实现[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值