[解读] Capsules with Inverted Dot-Product Attention Routing

新型胶囊网络路由算法
最新推荐文章于 2025-02-25 10:01:15 发布
最新推荐文章于 2025-02-25 10:01:15 发布
阅读量975 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weipf8/article/details/106891873
本文提出了一种名为InvertedDot-ProductAttention的新型胶囊网络路由算法，该算法通过反向的点积注意力机制，使高层级胶囊竞争低层级胶囊的注意力，以决定信息流的方向。与传统的动态路由和EM路由相比，新算法引入了并发迭代路由，加速了运算并解决了梯度消失问题。

本文提出一种新的胶囊网络路由算法, 主要有以下三个亮点: 首先通过一个反向的点积注意力来设计路由, 其次使用层规范化方法, 最后使用并发迭代路由的方法来取代序列式的迭代.

论文链接: https://arxiv.org/abs/2002.04764v2

开源代码:

https://github.com/apple/ml-capsules-inverted-attention-routing

https://github.com/yaohungt/Capsules-Inverted-Attention-Routing

相关工作

在原始的路由算法中, 每个较低级别(前一层)的胶囊投票给每个较高级别(后一层)的胶囊状态. 较高级 (父级) 的胶囊将汇总选票, 更新其状态, 并使用更新后的状态来解释每个下级胶囊. 被解释清楚的那些最终将更多的信息流向该父级胶囊. 重复此过程, 在选票聚合过程中来确定哪些胶囊被路由到那个父级胶囊. 这个过程类似于期望最大化 (EM) 算法的 M 步和 E 步的迭代方式, 推断隐藏单元的状态和路由概率.

动态路由 (Sabour et al., 2017) 和 EM 路由 (Hinton et al., 2018) 都可以看作上述方案的变体, 它们具有基本的迭代结构, 但在细节方面有所不同, 例如其胶囊设计, 如何汇总票数, 以及是否使用非线性函数.

本文方法

本文介绍一个新颖的路由算法, 被称为 Inverted Dot-Product Attention, 就像一个反向的注意力机制, 高等级的胶囊通过竞争来争夺低等级胶囊的注意力.

路由概率直接取决于父胶囊 (来自上一个迭代步骤) 与子胶囊对父胶囊的投票 (在当前迭代步骤中) 之间的一致性.

设第 L L L 层第 i i i 个胶囊为 p i L \mathbf{p}_i^{L} piL​, 维度为 d L d_L dL​. 路由算法如下:

在这里插入图片描述

其中 W i j L \mathbf{W}_{ij}^L WijL​ 是一个可学习的权重.

推理算法如下:

ss

I \mathbf{I} I 是输入的图片样本. 其中第 7-9 行是一个并发的路由机制, 一方面加快运算速度, 另一方面能够改进梯度消失的问题. 这个问题是因为迭代次数过多, 间接导致网络层次加深. 并发路由的原理如下图:

在这里插入图片描述

路由过程如图中灰色箭头所示.

参考

  • Sara Sabour, Nicholas Frosst, and Geoffrey E Hinton. Dynamic routing between capsules. In Advances in neural information processing systems, pp. 3856–3866, 2017.

  • Geoffrey E Hinton, Sara Sabour, and Nicholas Frosst. Matrix capsules with em routing. 2018.

YOLOv9改进策略：注意力机制 | 动态稀疏注意力的双层路由方法BiLevelRoutingAttention | CVPR2023
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
03-26 1509
BiLevelRoutingAttention对小目标检测效果比较好：BRA模块是基于稀疏采样而不是下采样，一来可以保留细粒度的细节信息，二来同样可以达到节省计算量的目的。
CAPSULES WITH INVERTED DOT-PRODUCT ATTENTION ROUTING
06-02
计算机视觉Github开源论文
注意力机制的两种常用形式-----加性注意力（Additive Attention）和点积注意力（Dot-product Attention）
m0_51200050的博客
06-28 2787
注意力机制是现代自然语言处理模型（如Transformer）的核心组件。最常用的两种注意力机制是加性注意力（Additive Attention）和点积注意力（Dot-product Attention）。加性注意力和点积注意力在理论复杂度上相似，但点积注意力更快且更节省空间，因为它可以利用高度优化的矩阵乘法代码。通过具体数据示例，我们可以看到这两种注意力机制的工作原理和实际计算过程。：利用注意力权重对值（value）：通过计算点积并除以缩放因子。类似地，计算其他相似度。类似地，计算其他相似度。
深度探索：机器学习中的点积注意力（Dot-Product Attention）原理及应用
qq_51320133的博客
04-30 5789
点积注意力机制以其高效、灵活的特点，在众多机器学习应用中扮演了重要角色，特别是在自然语言处理、计算机视觉和推荐系统等领域。它不仅简化了注意力机制的计算流程，提高了模型的训练效率，而且通过有效捕捉输入序列中的相关性，显著增强了模型的表达能力和学习能力。 然而，点积注意力并非万能钥匙，它在处理极端噪声数据或需要高度精细化注意力分布的任务时可能存在局限性。因此，未来的研究方向可能包括但不限于： 改进注意力机制：探索新的注意力计算方式，结合
探索未来AI的新型构建模块：Capsules with Inverted Dot-Product Attention Routing
gitblog_00075的博客
06-23 725
探索未来AI的新型构建模块：Capsules with Inverted Dot-Product Attention Routing ml-capsules-inverted-attention-routing 项目地址: https://gitcode.com...
attention is all your need 点积注意力机制之归一化作用 Dot-Product Attention（小白+deepseek step by step）
yuweififi的专栏
02-25 1179
点积注意力机制和加性注意力机制， 点积注意力为什么需要归一化
Capsule Routing的总结，以及最近的应用和改进
qq_36379719的博客
06-16 806
1、Generalized Capsule Networks with Trainable Routing Procedure 问题 路由算法的迭代次数不是自动更新，而是人工调整 解决方法 将耦合系数融入整个网络中，与所有参数一起更新 2、Capsule Routing via Variational Bayes（AAAI2020） 问题 建模胶囊的姿态参数的不确定性造成方差崩塌 解决方法 提出了一种新的路由方法，用以拟和一种变换高斯混合的变分
【胶囊网络论文解读】EFFICIENT-CAPSNET: CAPSULE NETWORK WITH SELF-ATTENTION ROUTING
SiranTang的博客
06-06 1333
胶囊网络的改进
论文解读《Object-Centric Learning with Slot Attention》
buyaotutou的博客
09-26 1761
在有监督的场景中，Slot Attention可以用于对象属性的预测。在此任务中，Slot Attention自动聚焦输入中的不同对象，实现属性的逐一预测。通过多次注意力机制的迭代，每个Slot能够逐渐与特定的对象相关联，进而提升模型对复杂场景的理解和推理能力。Slot可以被看作是对象文件，每个Slot描述输入中的一个对象或实体。这些限制为未来研究提供了改进的方向，例如探索更高效的初始化方法，以及处理更大规模场景的能力。环境下，从低级的感知输入（如图像或视频）中学习对象中心化的表示仍然是一个挑战。
Scaled Dot-Product Attention详解
发几十块的吧
08-13 4755
本文详细介绍了 Scaled Dot-Product Attention 的机制、计算步骤、以及一个详细的计算过程样例。
胶囊网络Dynamic Routing Between Capsules论文详解
liangjiubujiu的博客
11-19 2632
Dynamic Routing Between Capsules 2018年11月18日 14:39   <https://arxiv.org/abs/1710.09829> https://github.com/ageron/handson-ml             屏幕剪辑的捕获时间: 2018/11/18 14:43 C类似于max_poolin...
additive attention 与 dot product attention
u014261001的博客
08-24 3022
最常用的注意力机制为additive attention 和dot product attention additive attention ： 在dkd_kdk​较小时，两者中additive attention优于不做scale的dot product attention，当dkd_kdk​较大时，dot product attention方差变大，会导致softmax函数中梯度消失（类似sigmoid，导数为tex(t+ex)2\frac{te^x}{(t+e^x)^2}(t+ex)2tex​,方差
注意力机制：多头注意力（MultiHeadAttention+缩放点积注意力(scaled dot-product attention)代码详细实现+手动绘制的MultiHeadAttention网络
weixin_41686431的博客
03-19 2857
最终输出的形状:(batch_size*num_heads,查询或者“键－值”对的个数, num_hiddens/num_heads)# 输出X的形状:(batch_size，num_heads，查询或者“键－值”对的个数, num_hiddens/num_heads)# 输出X的形状:(batch_size，查询或者“键－值”对的个数，num_heads，num_hiddens/num_heads)# valid_lens的形状：（batch_size, ）或者（batch_size, 查询的个数）
【Transformer论文解读】TRAR: Routing the Attention Spans in Transformer for Visual Question Answering
SiranTang的博客
06-11 1106
Transformer论文解读
Attention的汇总与辨析_Additive、Multiplication、Scaled dot-product、Self Attention、Multi-head Self-Attention
PuJiang-的博客
04-07 2749
一、Seq2Seq 1.1Seq2Seq(Encoder-Decoder)是什么 简介：使用Encoder将input编码为一个固定长度的context向量，使用Decoder将context解码为output。input、output长度不一定相同。 奠基论文：Sequence to Sequence Learning with Neural Networks ...
Python 什么是点积注意力机制；点击注意力机制代码实现；Dot-Product Attention代码实战；超详细代码实现点积注意力
L_goodboy的博客
01-23 1567
Python 什么是点积注意力机制；点击注意力机制代码实现；Dot-Product Attention代码实战；超详细代码实现点积注意力
Transformer - 注意⼒机制 Attention Scaled Dot-Product Attention不同的代码比较
二分掌柜的
02-28 2020
flyfish
Knowledge Guided Capsule Attention Network for Aspect-Based Sentiment Analysis翻译
weixin_38190651的博客
10-15 1066
KGCapsAN论文翻译摘要介绍相关工作方面层级情感分析基于注意力的胶囊网络图神经网络KGCapsAN 模型任务定义框架概览Bi-LSTM NetworkCapsule Attention Network实验数据集基线模型 摘要 基于方面(方面级)的情感分析是在细粒度情感分析中非常重要的子任务，旨在自动推断出某一方面在其上下文中的情绪。之前的研究已经表明，利用注意力为基础的方法可以有效地提高基于方面的情感分析的精度。尽管有了卓越的进步,基于方面的情绪分析现实中几个方面 挑战。 (1)目前基于注意力的方法可能
动态路由算法 EM-routing
最新发布
04-01
### 动态路由算法 EM-Routing 的实现与工作原理 #### 工作原理概述 动态路由算法的核心目标是在神经网络的不同层之间传递信息时，决定低级特征如何组合成高级特征。EM-Routing 是一种基于期望最大化 (Expectation-Maximization, EM) 算法的方法，用于优化胶囊之间的连接权重和激活值[^3]。 在 EM-Routing 中，每一层的胶囊会通过多次迭代调整其 pose 参数（表示空间变换矩阵）以及激活概率。这些参数通过 EM 算法逐步收敛到最优解，从而使得高层胶囊能够更好地捕捉输入数据的空间关系和语义信息。 --- #### 具体实现方式 1. **初始化阶段** 在初始状态下，假设第 \( L \) 层的所有胶囊都可能影响第 \( L+1 \) 层的某个特定胶囊。为此，定义了一个耦合系数 \( c_{ij} \)，它决定了第 \( i \) 个低级胶囊对第 \( j \) 个高级胶囊的影响程度。该系数满足约束条件： \[ \sum_j c_{ij} = 1 \] 耦合系数由 softmax 函数计算得出，具体公式如下： \[ c_{ij} = \frac{\exp(b_{ij})}{\sum_k \exp(b_{kj})} \] 其中，\( b_{ij} \) 表示两个胶囊间的亲和度得分。 2. **预测与投票机制** 对于每一个低级胶囊 \( u_i^{(L)} \)，都会生成一组针对上级胶囊 \( v_j^{(L+1)} \) 的预测向量 \( \hat{u}_{j|i} \)。这个过程可以通过一个可学习的转换矩阵完成： \[ \hat{u}_{j|i} = M_j \cdot u_i^{(L)} \] 随后，利用耦合系数加权求和的方式，得到初步估计的上级胶囊状态： \[ s_j = \sum_i c_{ij} \hat{u}_{j|i} \] 3. **更新激活值与姿态参数** 使用 EM 算法反复迭代以改进上述估计结果。每次迭代分为两步： - **E 步骤**: 计算每个低级胶囊对于某高级胶囊的概率分布 \( r_{ij} \)，这反映了当前模型下低级胶囊属于某一类别胶囊的可能性。 \[ r_{ij} = \frac{p_{ij}}{\sum_k p_{ik}} \] 其中，\( p_{ij} \propto P(u_i | v_j) \)[^3]。 - **M 步骤**: 更新高级胶囊的姿态参数及其激活值。姿态参数可通过最小化重构误差获得；激活值则依赖于观察到的数据点数量和支持强度： \[ a_j = \sigma(\lambda (\beta_a + T)) \] 这里，\( T \) 是支持总和，即所有分配给此胶囊的支持数之和。 4. **终止条件** 当经过预定次数的迭代或者变化幅度小于阈值时停止循环，并返回最终的结果作为输出。 --- #### Python 实现伪代码 以下是简化版的 EM-Routing 实现框架： ```python def em_routing(votes, num_iterations=3): """ Perform Expectation Maximization routing between capsules. Args: votes: Tensor of shape [batch_size, num_capsules_in, num_capsules_out, capsule_dim]. Represents predictions from lower-level to higher-level. num_iterations: Number of iterations for the routing process. Returns: poses: Final pose parameters after convergence. activations: Activation probabilities of output capsules. """ batch_size, _, num_capsules_out, _ = votes.shape # Initialize logits and coupling coefficients logits = torch.zeros(batch_size, 1, num_capsules_out, 1).to(device) coupling_coeffs = F.softmax(logits, dim=-2) for iteration in range(num_iterations): # Compute weighted sum based on current couplings preactivate = torch.sum(coupling_coeffs * votes, dim=1, keepdim=True) # Squash function applied element-wise poses = squash(preactivate) if iteration != num_iterations - 1: # Agreement computation agreements = torch.matmul(torch.transpose(votes, 2, 3), poses) # Update logits according to agreement level logits += agreements.squeeze(dim=1) # Recompute coupling coefficients via Softmax normalization coupling_coeffs = F.softmax(logits, dim=-2) # Calculate final activation values using logistic sigmoid norm_squared = torch.norm(poses.squeeze(), dim=-1)**2 activations = torch.sigmoid(norm_squared / (norm_squared.mean() + epsilon)) return poses.squeeze(), activations ``` --- #### 总结 综上所述，EM-Routing 提供了一种灵活且高效的解决方案来处理复杂模式识别任务中的结构化表征问题。相比传统方法，这种方法不仅提高了鲁棒性和泛化能力，还降低了对抗样本攻击的风险[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值