交叉注意力机制

最新推荐文章于 2025-03-24 20:31:14 发布
最新推荐文章于 2025-03-24 20:31:14 发布
阅读量1.6k 收藏 2
点赞数 2
文章标签： 人工智能 机器学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34425255/article/details/136905823
版权

基于交叉注意力机制的多特征融合行为识别模型整体结构如图所示。该模型主要包括特征提取模块和交叉注意力模块。

特征提取模块负责提取待检测视频的三维图像特征和人体关键点特征， 交叉注意力模块通过自注意力机制和交叉注意力机制对两种特征进行融合。融合后的特征经归一化指数函数 softmax进行行为分类。

总结：

（1）单一骨架数据模态来识别比如抽烟这个行为可能还不够，所以多个数据模态进行融合可以看看实验效果。

（2）融合了自注意力机制。

（3）可以看一下在煤矿井下这个场景中的鲁棒性怎么样。

参考：

饶天荣, 潘涛, 徐会军. 基于交叉注意力机制的煤矿井下不安全行为识别[J]. 工矿自动化, 2022, 48(10): 48-54. RAO T Y, PAN T, XU H J. Unsafe action recognition in underground coal mine based on cross- attention mechanism[J]. Journal of Mine Automation, 2022, 48(10): 48-54.

【深度学习】什么是交叉注意力机制？
q742971636的博客
07-03 5574
输入序列：自注意力机制在同一个输入序列内建立注意力，交叉注意力机制在不同的输入序列间建立注意力。应用场景：自注意力机制多用于单一模态的任务（如纯文本任务），交叉注意力机制多用于多模态任务（如图像和文本的结合）。计算过程：自注意力机制的查询、键和值都来自同一个输入序列，而交叉注意力机制的查询来自一个输入序列，键和值来自另一个输入序列。
Stable Diffusion初步见解（四）：交叉注意力机制
m0_75253143的博客
11-26 3445
是 Stable Diffusion 模型中一个关键的技术组件，它使得模型能够有效地将融入到过程中。通过交叉注意力机制，Stable Diffusion 能够根据用户提供的文本提示生成符合描述的图像。
神联动：交叉注意力＋特征融合！一区大门轻松开！
Aimoxin111的博客
02-25 1721
多模态交叉注意力网络（MMCA）：提出了一种新的网络架构，通过联合建模图像区域和句子单词的内模态（intra-modality）和跨模态（inter-modality）关系，实现图像和句子的匹配。在MSRS数据集上，AG指标达到4.6872，提升了0.5个单位。双交叉注意力Transformer：提出了一种新的特征融合框架，通过查询引导的交叉注意力机制，同时建模全局特征交互和跨模态的互补信息。跨模态注意力机制：提出了一种新的交叉注意力机制，能够同时利用内模态和跨模态信息，增强了图像和句子匹配的特征表示。
【AI知识点】交叉注意力机制（Cross-Attention Mechanism）
AI完全体
10-03 2万+
交叉注意力机制（Cross-Attention Mechanism） 是一种在深度学习中广泛使用的技术，尤其在序列到序列（sequence-to-sequence）模型和Transformer 模型中被大量应用。它主要用于不同输入之间的信息交互，使模型能够有效地将来自不同来源的上下文进行对齐和关注，从而帮助模型更好地捕捉两个输入之间的相关性。
交叉注意力机制CrossAttention
热门推荐
m0_63097763的博客
08-15 7万+
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation、Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation、CrossAttention的计算过程、Encoder-Decoder架构中CrossAttention的输入要求略有不同
【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）
985小水博的摸鱼日常
10-25 3754
【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）
cross attention交叉熵注意力机制
study_jiang_up的博客
07-07 2110
则是在两个不同序列上计算注意力，用于处理两个序列之间的语义关系。在两个不同的输入序列之间计算关联度和加权求和的机制。具体来说，给定两个输入序列，cross attention机制将一个序列中的每个元素与另一个序列中的所有元素计算关联度，并根据关联度对两个序列中的每个元素进行加权求和。这样的机制使模型能够建立不同序列之间的关联关系，并将两个序列的信息融合起来。例如，在翻译任务中，需要将源语言句子和目标语言句子进行对齐，就需要使用交叉注意力来计算两个句子之间的注意力权重。它的输出是一个大小为。
论文阅读06——《CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering》
小吴不会敲代码吧
05-12 3025
本文介绍Huo等人发表的论文《CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering》，主要介绍了其中的交叉注意力融合模块和图自编码器的两种损失函数，给出GitHub上的源代码地址。...
狂发顶会的 交叉注意力机制，再出神作！
2401_88556812的博客
01-22 1207
跨尺度特征交互：通过CEL和LSDA，首次实现了不同尺度特征之间的交互，弥补了现有变换器在构建跨尺度注意力方面的不足，提升了模型在密集预测任务上的性能，例如在对象检测任务上，CrossFormer-S的APb指标比PVT-M高出1.0%，CrossFormer-B的APb指标比Twins-SVT-B高出1.4%。线性交叉注意力：开发了一种基于交叉注意力的简单而有效的token融合方案，该方案在计算和内存上都是线性的，与全注意力融合相比，减少了计算量和内存使用。
【Transformer】cross attention 交叉注意力机制
m0_51579041的博客
05-03 5257
【Transformer】cross attention 交叉注意力机制
登上Nature！交叉注意力机制 发顶会流量密码！
m0_73122726的博客
01-15 312
基于这些提取的图像区域和句子词的细粒度表示，使用自注意模块对模态内关系进行建模，并采用交叉注意模块对图像区域和语句词的模态间和模态内关系建模。例如，在图像与文本的结合中，模型可以通过注意力机制识别出图像中的重要部分，并将其与相关文本信息进行关联，从而提升理解能力。文本驱动的图片生成扩展到图片编辑，编辑对于生成模型具有挑战性由于需要保留大部分原始图片，然而在基于文本的模型中，即使文本仅有一个微小的改变也会导致完全不同的输出。作者提出了一种简单的方法，可以实现鲁棒的布局控制，而不需要训练或微调图像生成器。
图像融合论文阅读：CrossFuse: 一种基于交叉注意机制的红外与可见光图像融合方法
图像强的博客
01-08 9263
以往的交叉注意力只考虑相关性，而图像融合任务需要关注互补信息。 为了解决这个问题，作者提出了CrossFuse，使用【交叉注意力机制CAM】增强互补信息，使用了两阶段训练策略。 第一阶段为两种模态训练结构相同的自编码器 第二阶段固定编码器参数，训练CAM和解码器
交叉注意力融合2024创新方案汇总，附配套模块和代码
学姐带你玩AI的博客
01-31 9742
多模态学习和注意力机制是当前深度学习研究的热点领域之一，而交叉注意力融合作为这两个领域的结合点，具有很大的发展空间和创新机会。作为多模态融合的一个重要组成部分，交叉注意力融合通过注意力机制在不同模块之间建立联系，促进信息的交流和整合，从而提升了模型处理复杂任务的能力，展现出其在多模态学习和聚类分析等领域的强大优势。本文盘点，包含2024年最新的研究，这些模块的来源文章以及代码我都整理了，希望能给各位的论文添砖加瓦。论文和模块代码需要的同学看文末。
推荐系统遇上深度学习(一二七)-[谷歌]用于点击率预估消偏的交叉位置注意力机制...
abcdefg90876的博客
12-25 1074
今天给大家分享的是谷歌发表的一篇用于点击率预估中消除位置偏差的论文，除考虑位置本身的影响外，还考虑了相邻位置及展示的item的交叉影响，一起来看一下。1、背景在点击率预估问题中，位置偏置是...
深入理解跨注意力机制（Cross-Attention）
m0_72410588的博客
07-11 2万+
跨注意力机制是一种扩展自注意力机制的技术。自注意力机制主要用于捕捉输入序列中不同位置的关联性，而跨注意力机制则通过引入额外的输入序列来融合两个不同来源的信息，以实现更准确的建模。
【深度】交叉注意力机制
weixin_50862344的博客
06-10 7279
交叉注意力机制，也称为cross-attention，是指在注意力机制中，一个序列中的某个位置与另一个序列中的所有位置进行注意力计算。
【深度学习】Cross-Attention（交叉注意力）机制详解与应用
最新发布
欢迎来到我的CSDN个人博客主页！
03-24 2052
Cross-Attention（交叉注意力）是一种特殊的注意力机制，用于处理两个不同序列或模态之间的关系。与Self-Attention（自注意力）不同，Cross-Attention允许一个序列（查询序列）通过注意力机制来关注另一个序列（键值序列）中的信息。简单来说，Cross-Attention回答的问题是：“在序列A的每个位置，我应该关注序列B中的哪些部分？
CCNet十字交叉注意力机制
weixin_47180164的博客
12-01 1167
是通道i处的标量值，位置u在A中，将上下文信息添加到局部特征H中，以增强像素级表示。当我们得到所有的d之后，就得到A,在H上应用另一个具有1×1的卷积层来生成V。，1×1卷积起到降维作用，Q和K中的通道数小于输入特征图H的通道数，通过Affinity 之后经过softmax结构得到。是V中的一个特征向量的集合，它们位于位置为u的同一行或列中，上下文信息由如下定义的聚合操作收集。，我们也可以通过从K中提取与u位置在同一行或列中的特征向量得到。,在V的空间维数中的每个位置u处，我们可以得到一个向量,
交叉注意力机制原理图
01-12
### 交叉注意力机制工作原理 在神经网络架构中，尤其是涉及序列到序列转换的任务里，交叉注意力机制允许编码器和解码器之间建立更复杂的关系。通过这种方式，解码过程不仅依赖于自身的先前状态，还能够动态地聚焦于输入序列的不同部分。 #### 编码-解码框架中的应用 在一个典型的编解码结构下，当处理源语言句子并试图生成目标语言翻译时，交叉注意力使得解码侧可以在每一步查询整个源句表示的空间。这意味着对于每一个待产生的词，模型可以评估其与源端各个位置的相关度，并据此调整权重分配[^1]。 #### 工作流程解析 具体来说，在计算过程中： - **Query (Q)** 来自当前时刻的解码器隐藏层； - **Key (K)** 和 **Value (V)** 则由编码器的最后一层输出提供给定； 这些向量经过线性变换后参与点积相似度运算得到未标准化的概率分布，再经Softmax函数作用成为最终用于加权求和的价值向量系数。此操作可视为衡量了解码阶段各时间步上哪些源语义片段最为重要[^3]。 ```mermaid graph LR; A[Decoder State] --> B{Query}; C[Source Sequence Representation] -.-> D{Keys & Values}; E[(Attention Weights)]:::attention; F[Weighted Sum of Value Vectors]; subgraph Attention Mechanism B -->|Dot Product with Keys| E; E -->|Apply Softmax| G[Normalized Scores]; G -->|Multiply by Values| F; end classDef attention fill:#f96,stroke:#333,stroke-width:4px; ``` 该图展示了如何利用查询（来自解码器）、键值对（源自编码器），来构建一个注意力建模的过程。其中特别强调的是，通过这种交互方式，即使面对较长距离的信息关联也能够有效捕捉[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值