ResNet改进(6)：添加Triplet Attention模块考虑通道维度和空间维度的交互关系

ResNet添加Triplet Attention模块改进
最新推荐文章于 2025-06-13 18:52:25 发布
最新推荐文章于 2025-06-13 18:52:25 发布
阅读量752 收藏
点赞数 25
CC 4.0 BY-SA版权
分类专栏： ResNet 改进【有效涨点！】 文章标签： 深度学习 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82355416/article/details/146298166

1.Triplet Attention模块 

Triplet Attention模块是一种用于计算机视觉任务的注意力机制，旨在增强卷积神经网络（CNN）的特征表达能力。它通过同时考虑通道维度和空间维度的交互关系，有效地捕捉特征图中的重要信息。该模块由三个并行的注意力分支组成，分别处理通道维度和两个空间维度（高度和宽度），因此得名“Triplet Attention”。

1. Triplet Attention的核心思想

  • 传统的注意力机制（如SENet、CBAM等）通常单独处理通道注意力或空间注意力，而Triplet Attention则同时考虑通道和空间维度的交互。

  • 通过三个分支分别计算通道注意力和两个空间注意力，Triplet Attention能够更全面地捕捉特征图中的重要信息。

2. Triplet Attention的结构

Triplet Attention模块由三个并行的注意力分支组成：

  1. 通道注意力分支：<

了解本专栏 订阅专栏 解锁全文
YOLOv8中加入使用三分支结构捕捉交叉维度交互来计算注意权重的注意力机制TripletAttention
分享一些自己改进代码的实例
12-22 1718
在yolov8原结构中加入TirpletAttention注意力机制，助力涨点！！！！！！
YOLOV8改进：TripletAttention | 即插即用的轻量级注意力机制
2201_76125261的博客
10-04 867
由于注意机制具有在通道或空间位置之间建立相互依赖关系的能力，近年来在各种计算机视觉任务中得到了广泛的研究和应用。在本文中，我们研究了轻量级但有效的注意机制，并提出了三重注意，这是一种利用三分支结构捕获跨维交互来计算注意权重的新方法。对于输入张量，三元组注意力通过旋转操作建立维度间依赖关系，然后进行残差变换，并以可忽略不计的计算开销对通道间和空间信息进行编码。我们的方法简单高效，可以作为附加模块轻松插入经典骨干网。
YOLO11改进|注意力机制篇|引入三重注意力机制Triplet Attention
A1983Z的博客
10-13 1488
YOLO11中添加三重注意力机制TripletAttention
Triplet Attention: 轻量且有效的即插即用注意力
m0_63642362的博客
08-01 1万+
本文研究了轻量但有效的注意力机制，并提出了Triplet Attention，这是一种通过使用三分支结构捕捉交叉维度交互来计算注意权重的新方法。
【亲测免费】 Triplet Attention：深度学习中的新颖注意力机制
gitblog_00015的博客
04-27 2310
Triplet Attention：深度学习中的新颖注意力机制 在机器学习和深度学习领域，模型的创新往往围绕着如何更好地处理和理解数据。Triplet Attention 是一个由 Landskape AI 团队开源的项目，它引入了一种新的注意力机制，旨在提升模型对序列数据的理解能力。这篇文章将详细介绍 Triplet Attention 的概念、技术原理、应用场景及其独特之处。 项目简介 Tri...
（论文翻译）Rotate to Attend Convolutional Triplet Attention Module（维度注意力 WACV2021）
qq_39214409的博客
05-13 2209
背景：受益于通道或空间位置的相互依赖，注意力机制最近被广泛研究并使用在一系列CV任务方法在本文中，我们研究轻量且高效的注意力机制并提出triplet注意力，一种通过使用三分支结构捕获跨维度的计算注意力权重的新颖方法对于输入的张量，triplet attention用最小的计算开销，通过残差转换与编码通道、空间信息的旋转操作建造维度间的依赖我们的方法简单高效，可以简单的作为模块插入经典的主干网络贡献。
YOLOv10改进策略【注意力机制篇】| WACV-2021 Triplet Attention 三重注意力模块 - 跨维度交互注意力机制优化
Limiiiing的博客
11-04 1018
本文记录的是利用模块优化的目标检测网络模型。的作用在于通过三个分支结构捕捉跨维度交互，同时包含通道信息和空间信息，克服了常见注意力方法中通道和空间分离计算以及未考虑跨维度交互和维度缩减的问题。相比一些传统注意力机制，能更好地表达网络特征。本文将其应用到中，并进行二次创新，使网络能够综合多种维度信息，更好地突出重要特征，从而提升模型在不同任务中的性能。Mixed local channel attention for object detection是一种轻量级的注意力机制模块，以下是对其模块设计的出发点、原
YOLOv11改进策略【注意力机制篇】| WACV-2021 Triplet Attention 三重注意力模块 - 跨维度交互注意力机制优化
Limiiiing的博客
10-30 678
本文记录的是利用模块优化的目标检测网络模型。的作用在于通过三个分支结构捕捉跨维度交互，同时包含通道信息和空间信息，克服了常见注意力方法中通道和空间分离计算以及未考虑跨维度交互和维度缩减的问题。相比一些传统注意力机制，能更好地表达网络特征。本文将其应用到中，并进行二次创新，使网络能够综合多种维度信息，更好地突出重要特征，从而提升模型在不同任务中的性能。Mixed local channel attention for object detection是一种轻量级的注意力机制模块，以下是对其模块设计的出发点、原
YOLOv8改进策略【注意力机制篇】| WACV-2021 Triplet Attention 三重注意力模块 - 跨维度交互注意力机制优化
Limiiiing的博客
12-25 243
一、本文介绍 本文记录的是利用Triplet Attention模块优化YOLOv8的目标检测网络模型。Triplet Attention的作用在于通过三个分支结构捕捉跨维度交互，同时包含通道信息和空间信息，克服了常见注意力方法中通道和空间分离计算以及未考虑跨维度交互和维度缩减的问题。相比一些传统注意力机制，能更好地表达网络特征。本文将其应用到YOLOv8中，并进行二次创新，使网络能够综合多种维度信息，更好地突出重要特征，从而提升模型在不同任务中的性能。 文章目录一、本文介绍二、Triplet Attent
(即插即用模块-Attention部分) 七、(WACV 2021) Triplet Attention 三重注意力
wei582636312的博客
11-15 1553
这篇论文提出一种三重注意力（Triplet Attention），其通过捕获交叉维度的相互作用来计算注意力的权重。对于一个输入张量，三元组注意力通过旋转操作建立维度间依赖关系，然后进行残差变换，并以可忽略的计算开销编码通道间和空间信息。与之前的注意力工作不同的是，Triplet Attention引入了跨维相互作用，强调了跨维度交互的重要性。没有降维的过程，从而消除了通道和权重之间的间接对应关系。
Pytorch实现TripletAttention
AI浩
11-27 816
# !/usr/bin/env python # -- coding: utf-8 -- import torch import torch.nn as nn import torchvision class ChannelPool(nn.Module): def forward(self, x): return torch.cat( (torch.max(x,1)[0].unsqueeze(1), torch.mean(x,1).unsqueeze(1)), dim=1 )
【亲测免费】 探索Triplet Attention：一种创新的深度学习注意力机制
gitblog_00099的博客
04-27 848
探索Triplet Attention：一种创新的深度学习注意力机制 在深度学习领域，模型的注意力机制已经成为了提升性能的关键技术之一。 的 项目正是这样的一个创新尝试，它提出了一个新的注意力模块，旨在增强模型的学习能力和泛化能力。 项目简介 Triplet Attention 是一种基于Transformer架构的注意力机制，灵感来源于信息检索中的三元组（triplet），由查询(query)...
09 - TripletAttention模块
最新发布
LeoChaw
06-13 476
论文《Rotate to Attend: Convolutional Triplet Attention Module》
YOLOv8改进 | 注意力机制 | 添加TripletAttention三重注意力机制（附代码+机制原理+添加教程）
Snu77的博客
12-06 7168
本文给大家带来的改进是Triplet Attention三重注意力机制。这个机制，它通过三个不同的视角来分析输入的数据，就好比三个人从不同的角度来观察同一幅画，然后共同决定哪些部分最值得注意。三重注意力机制的主要思想是在网络中引入了一种新的注意力模块，这个模块包含三个分支，分别关注图像的不同维度。比如说，一个分支可能专注于图像的宽度，另一个分支专注于高度，第三个分支则聚焦于图像的深度，即色彩和纹理等特征。这样一来，网络就能够更全面地理解图像内容，就像是得到了一副三维眼镜，能够看到图片的立体效果一样。
YOLOv9改进 添加三分支注意力机制TripletAttention
分享一些自己改进代码的实例
03-12 744
在yolov9原结构中加入TirpletAttention注意力机制，助力涨点
pytorch代码实现注意力机制之TripletAttention
DM_zx的博客
08-15 905
注意力机制之TripletAttention
YOLOv10改进 | 注意力篇 | YOLOv10引入TripletAttention三重注意力机制
tsg6698的博客
06-27 500
在本文中，我们研究了轻量但有效的注意机制，并提出了一种新的方法--三重注意，通过使用三分支结构捕获交叉维度的交互来计算注意权重。我们在各种具有挑战性的任务上展示了我们的方法的有效性，包括在ImageNet-1k上的图像分类以及在MSCOCO和Pascal VOC数据集上的目标检测。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
Triplet Attention -接近无参注意力| Rotate to Attend: Convolutional Triplet Attention Module
热门推荐
weixin_42096202的博客
10-08 2万+
https://arxiv.org/pdf/2010.03045.pdf
YOLOv5改进 | TripletAttention三重注意力机制（附代码+机制原理+添加教程）
Snu77的博客
12-19 3075
本文给大家带来的改进是三重注意力机制。这个机制，它通过三个不同的视角来分析输入的数据，就好比三个人从不同的角度来观察同一幅画，然后共同决定哪些部分最值得注意。三重注意力机制的主要思想是在网络中引入了一种新的注意力模块，这个模块包含三个分支，分别关注图像的不同维度。比如说，一个分支可能专注于图像的宽度，另一个分支专注于高度，第三个分支则聚焦于图像的深度，即色彩和纹理等特征。这样一来，网络就能够更全面地理解图像内容，就像是得到了一副三维眼镜，能够看到图片的立体效果一样。⭐⭐⭐⭐。
RESNET特征维度: (25088,) AUTOENCODER特征维度: (25088,) HOG特征维度: (3780,) LBP特征维度: (256, ）这些特征维度分别是什么呢，能帮我解释一下吗
05-30
<think>好的，我现在需要解释用户提供的不同特征维度。首先，用户列出了四个特征维度：ResNet的25088维，Autoencoder的25088维，HOG的3780维，以及LBP的256维。我需要逐一分析每个特征是如何得到的，并解释其维度的来源。首先，ResNet的特征维度。用户之前的代码中修改了ResNet18的结构，移除了最后的全连接层和平均池化层。ResNet18通常在前面的卷积层后会有一个全局平均池化，然后是全连接层输出1000维。但代码中移除了最后两个层，所以保留的是卷积层的输出。假设最后一个卷积层的输出是512个通道，特征图大小为7x7（因为输入是224x224，经过多次下采样到7x7），那么特征维度应该是512*7*7=25088。这应该就是ResNet特征维度的来源。接下来是Autoencoder的特征维度。用户定义的Autoencoder结构中有两个卷积层和两个最大池化层。输入假设是224x224的RGB图像，经过第一次卷积（16个通道，3x3卷积，padding保持尺寸），然后最大池化（2x2，尺寸减半为112x112）。第二次卷积得到8个通道，再次池化到56x56。所以特征图的维度是8x56x56，展开后就是8*56*56=25088维，和ResNet一致。但需要确认预处理是否改变了输入尺寸，比如预处理中的Resize(256)和CenterCrop(224)，可能影响后续计算，但Autoencoder的结构可能没有考虑到这一点，导致实际输出可能与预期不同？然后是HOG特征。HOG的方向数设置为9，像素每个单元为8x8，块的大小为2x2单元。输入图像被调整到128x64像素。计算每个单元的梯度方向，然后块内归一化。对于128x64的图像，每个方向有9个bin，每个块有2x2的单元，每个单元贡献9个方向，所以每个块的特征数是9*2*2=36。横向有多少个块呢？128像素宽，每8像素一个单元，横向有16个单元，每个块横向移动2个单元，所以横向块数是15（16-1）。同样纵向64像素高，每8像素一个单元，纵向8个单元，块数是7（8-1）。总块数是15*7=105个块，每个块36维，所以总特征数是105*36=3780。这个计算是否正确？需要确认HOG的参数设置和计算方式。 最后是LBP特征。使用16个采样点，半径2，方法为'uniform'，这会生成均匀模式，直方图bin的数量是256。因为LBP计算后的图像每个像素点得到一个模式值，然后统计直方图，范围0到255，所以有256个bin，因此特征维度是256。但可能需要确认是否使用了均匀模式，因为均匀模式的LBP通常bin的数量会更少，比如59个。但用户代码中使用的是np.histogram(lbp, bins=256)，所以不管模式如何，都强制分成了256个bin，所以特征维度是256。在解释这些的时候，需要确保每个计算步骤的正确性，尤其是HOG和LBP的参数设置是否与代码中的一致。同时，要检查代码中的预处理步骤是否影响了特征图的尺寸，例如ResNet和Autoencoder的输入是否经过预处理导致尺寸变化，从而影响特征维度。例如，预处理中的Resize(256)和CenterCrop(224)可能影响Autoencoder的输入尺寸，进而影响特征图的大小，但用户定义的Autoencoder结构可能没有考虑到这一点，导致实际的特征维度可能与预期不同。需要确认代码中的具体实现，确保解释的准确性。可能存在的错误点：在Autoencoder的结构中，输入尺寸是否确实是224x224？因为预处理后的图像是224x224，经过两次池化（每次尺寸减半），所以第一次池化后是112x112，第二次池化后是56x56，所以特征图确实是8x56x56，展开为25088维。这部分是正确的。总结：需要分步骤解释每个特征维度的计算过程，结合代码中的参数设置，确保用户理解每个数字的来源。</think>以下是各特征维度的详细解释： ### 一、ResNet特征维度 (25088,) ```python # ResNet18结构修改后的特征计算 self.resnet = torch.nn.Sequential( *(list(base_model.children())[:-2]) # 移除最后两个层 ) ``` **维度计算原理：** 1. 输入图像尺寸：224x224 (经过预处理管道) 2. 最后一个卷积层输出：512个通道 × 7x7特征图 3. 计算公式：`512通道 × 7高度 × 7宽度 = 25088` 4. 展平操作：`features.cpu().numpy().flatten()` ### 二、Autoencoder特征维度 (25088,) ```python class Autoencoder(torch.nn.Module): def __init__(self): super().__init__() self.encoder = torch.nn.Sequential( torch.nn.Conv2d(3, 16, 3, padding=1), # 保持224x224 torch.nn.MaxPool2d(2), # 112x112 torch.nn.Conv2d(16, 8, 3, padding=1), # 保持112x112 torch.nn.MaxPool2d(2) # 56x56 ) ``` **维度计算过程：** 1. 输入尺寸：224x224x3 2. 第一次池化后：112x112x16 3. 第二次池化后：56x56x8 4. 展平维度：`8通道 × 56高度 × 56宽度 = 25088` ### 三、HOG特征维度 (3780,) ```python hog(resized_img, orientations=9, pixels_per_cell=(8,8), cells_per_block=(2,2), channel_axis=-1) ``` **维度计算步骤：** 1. 输入尺寸：128x64 (由resize(img_array, (128, 64))标准化) 2. 单元划分： - 宽度方向：128/8 = 16个单元 - 高度方向：64/8 = 8个单元 3. 块划分： - 每个块包含2x2单元 - 宽度块数：16 - 1 = 15 - 高度块数：8 - 1 = 7 4. 特征计算： - 每个块特征数：9方向 × (2x2单元) = 36 - 总特征数：15宽度块 × 7高度块 × 36 = 3780 ### 四、LBP特征维度 (256,) ```python lbp = local_binary_pattern(gray, P=16, R=2, method='uniform') np.histogram(lbp, bins=256, range=(0, 256))[0] ``` **维度解释：** 1. LBP计算产生0-255的灰度值 2. 使用256个直方图bin统计出现频率 3. 每个bin对应一个灰度值出现的次数 4. 最终得到256维的统计直方图 **可视化对比：** | 方法 | 输入尺寸 | 关键参数 | 输出维度 | |------|----------|----------|----------| | ResNet | 224x224 | 512通道7x7 | 25088 | | Autoencoder | 224x224 | 8通道56x56 | 25088 | | HOG | 128x64 | 9方向/8px单元 | 3780 | | LBP | 原图尺寸 | 16采样点 | 256 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

点我头像干啥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值