- 博客(28)
- 资源 (166)
- 收藏
- 关注
RSS订阅SparX实战：使用SparX实现图像分类任务
SparX是一种新提出的稀疏跨层连接机制，旨在提升视觉Mamba和Transformer网络的性能。该论文由香港大学的俞益洲教授及其研究团队撰写，并将在AAAI 2025会议上发表。论文的主要目标是解决现有视觉模型在跨层特征聚合方面的不足，尤其是在计算复杂度较高的Mamba模型中[5][6][7]。
原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/145376426
2025-01-29
DFFormer实战：使用DFFormer实现图像分类
## 论文信息
**标题**: FFT-based Dynamic Token Mixer for Vision
**论文链接**: https://arxiv.org/pdf/2303.03932
## 创新点
本论文提出了一种新的令牌混合器，称为**动态滤波器（Dynamic Filter）**，旨在解决多头自注意力（MHSA）模型在处理高分辨率图像时的计算复杂度问题。传统的MHSA模型在输入特征图的像素数量增加时，其计算复杂度呈二次增长，导致处理速度缓慢。通过引入基于快速傅里叶变换（FFT）的动态滤波器，论文展示了在保持全局操作能力的同时，显著降低计算复杂度的可能性。
链接：https://wanghao.blog.csdn.net/article/details/145368717?spm=1001.2014.3001.5502
2025-01-27
CrossFormer实战：使用CrossFormer实现图像分类任务
CrossFormer是一种新型的视觉Transformer架构，旨在通过引入跨尺度注意力机制来提升计算机视觉任务的性能。该模型特别关注不同尺度特征之间的交互，解决了现有视觉Transformer在处理多尺度特征时的不足。
链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/145055796?spm=1001.2014.3001.5501
2025-01-12
DilateFormer实战：使用DilateFormer实现图像分类任务
## 创新点
- **多尺度扩张注意力（MSDA）**：通过分析ViTs中全局注意力的斑块交互，发现注意力矩阵在浅层具有局部性和稀疏性。基于此，提出了MSDA，通过在周围稀疏选择的斑块中进行自注意力计算，同时捕获多尺度语义依赖。
- **滑动窗口扩张注意力（SWDA）**：作为MSDA的一部分，SWDA在局部邻域内执行自注意力，进一步利用感受野内的信息。
- **金字塔架构**：采用金字塔架构来发展DilateFormer模型，在浅层阶段堆叠MSDA以捕获低层信息，在深层阶段使用全局多头自注意力以建模高层信息。
本文使用DilateFormer模型实现图像分类任务，模型选择dilateformer_tiny，在植物幼苗分类任务ACC达到了89%+。
2024-12-26
VOLO实战：使用VOLO实现图像分类任务
本文介绍了一种新颖的视觉前景器（VOLO）主干网络，通过提出前景注意力机制和构建两个阶段的架构，实现了在ImageNet分类任务上的卓越性能。同时，VOLO在语义分割任务上也表现出了出色的性能。VOLO的提出为视觉识别领域带来了新的突破和进展。
本文使用VOLO模型实现图像分类任务，模型选择volo_d1，在植物幼苗分类任务ACC达到了85%+。
2024-11-25
DeBiFormer实战：使用DeBiFormer实现图像分类任务
本文介绍的DeBiFormer是一种专为图像分类和密集预测任务设计的新型分层视觉Transformer。通过提出可变形双级路由注意力（DBRA），优化了查询-键-值交互，自适应选择语义相关区域，实现了更高效和有意义的注意力。实验结果表明，DeBiFormer在多个计算机视觉任务上均表现出色，为设计灵活且语义感知的注意力机制提供了见解。
本文使用DeBiFormer模型实现图像分类任务，模型选择debi_tiny，在植物幼苗分类任务ACC达到了82%+。
原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/142706712
2024-11-07
EfficientFormer实战：使用EfficientFormerV2实现图像分类任务
EfficientFormerV2是一种通过重新思考ViT设计选择和引入细粒度联合搜索策略而开发出的新型移动视觉骨干网络。它结合了卷积和变换器的优势，通过一系列高效的设计改进和搜索方法，实现了在移动设备上既轻又快且保持高性能的目标。这一成果为在资源受限的硬件上有效部署视觉变换器模型提供了新的思路
原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/142367223
2024-09-19
GCViT实战：使用GCViT实现图像分类任务
GC ViT（全局上下文视觉转换器）是一种创新的深度学习架构，旨在提升计算机视觉任务中的参数和计算效率。它通过将全局上下文自注意力模块与标准的局部自注意力相结合，有效地建模长程和短程空间交互，同时避免了传统方法中的昂贵操作，如计算注意力掩码或移动局部窗口。GC ViT解决了Vision Transformer（ViT）中归纳偏差缺失的问题，并通过引入改进的融合倒置残差块来增强性能。在多个视觉任务（如图像分类、目标检测和语义分割）中，GC ViT均取得了最先进的结果。
原文链接：https://blog.csdn.net/m0_47867638/article/details/141654892
2024-09-02
CAS-ViT实战：使用CAS-ViT实现图像分类任务
CAS-ViT（Convolutional Additive Self-attention Vision Transformer）通过一系列创新，成功实现了计算与效率的平衡。其核心在于提出了一种新颖的加性相似度函数和卷积加性标记混合器（Convolutional Additive Token Mixer, CATM），这一设计显著降低了计算开销。
原文链接：https://blog.csdn.net/m0_47867638/article/details/141404169
2024-08-22
GroupMamba实战：使用GroupMamba实现图像分类任务
状态空间模型（SSM）的最新进展展示了在具有次二次复杂性的长距离依赖建模中的有效性能。GroupMamba解决了将基于SSM的模型扩展到计算机视觉领域的挑战，特别是大型模型尺寸的不稳定性和低效性。GroupMamba在ImageNet-1K的图像分类、MS-COCO的目标检测和实例分割以及ADE2OK的语义分割方面，相比现有方法取得了更优的性能。
原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/140775861
2024-07-31
EfficientMod实战：使用EfficientMod实现图像分类任务
论文提出了一种名为“高效调制（EfficientMod）”的新型设计，旨在提升视觉网络在准确性和效率之间的权衡。作者重新审视了现有的调制机制，该机制通过卷积上下文建模和特征投影层处理输入，并通过逐元素乘法和多层感知机（MLP）块融合特征。为了进一步提升效率，作者设计了EfficientMod块，作为他们网络的基本构建块。
EfficientMod的优势在于其能够利用调制机制的卓越表示能力，同时通过简化设计来减少计算冗余和延迟。与传统的自注意力机制相比，EfficientMod的计算复杂度与图像大小呈线性关系，而不是与标记数量呈立方关系，这使得它在处理大规模图像时更加高效。此外，与现有的高效卷积网络如FocalNet和VAN相比，EfficientMod块更为简单，但保留了它们的主要优点，如使用大核卷积块进行上下文建模和通过调制来增强特征表示。
https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/140520113
2024-07-20
RDNet实战：使用RDNet实现图像分类任务
论文提出的模型主要基于对传统DenseNet架构的改进和复兴，通过一系列创新设计，旨在提升模型性能并优化其计算效率，提出了RDNet模型。该模型的主要特点和改进点：
### 1. 强调并优化连接操作（Concatenation）
论文首先强调了DenseNet中连接操作（Concatenation）的重要性，并通过广泛的实验验证了连接操作在性能上能够超越传统的加法快捷连接（Additive Shortcut）。这一发现促使研究者们重新审视并优化DenseNet的连接机制。
2024-07-09
YoloV8改进策略-注意力篇-Block改进-附结构图-自研基于xLSTM的注意力
本文使用Vision-LSTM的xLSTM改进YoloV8的Bottleneck结构，增加自研的注意力机制，取得了不错的得分。如果大家想发顶会，或者比较好的期刊，可以优先考虑！
包含完整代码和PDF文章
2024-07-01
StarNet实战：使用StarNet实现图像分类任务
论文主要集中在介绍和分析一种新兴的学习范式——星操作（Star Operation），这是一种通过元素级乘法融合不同子空间特征的方法，通过元素级乘法（类似于“星”形符号的乘法操作）将不同子空间的特征进行融合，从而在多个研究领域中展现出出色的性能和效率。
星操作在自然语言处理（NLP）和计算机视觉（CV）等多个领域中都得到了成功应用。例如，在自然语言处理中，Monarch Mixer、Mamba、Hyena Hierarchy和GLU等模型都采用了星操作；在计算机视觉中，FocalNet、HorNet和VAN等模型也利用了星操作进行特征融合。
原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/139712515
2024-06-17
Vision-LSTM（ViL）实战：使用Vision-LSTM（ViL）实现图像分类任务
Vision-LSTM（ViL）架构的核心是xLSTM块。每个xLSTM块都包含一个输入门、一个遗忘门、一个输出门和一个内部记忆单元。与传统的LSTM相比，xLSTM引入了指数门控机制，使得模型能够更好地处理长序列数据。同时，xLSTM采用可并行化的矩阵内存结构，提高了模型的计算效率。
原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/139582259
2024-06-11
MobileNetV4实战：使用MobileNetV4实现图像分类任务
MobileNetV4，作为新一代移动设备神经网络架构，凭借其创新的通用倒置瓶颈UIB块和Mobile MQA注意力块，实现了计算效率和运行速度的显著提升。该架构通过精炼的神经架构搜索NAS方法，创建了多个卓越性能的移动设备模型。新型知识蒸馏技术进一步提高了模型准确性，而Mobile MQA块相较于传统多头注意力，在移动加速器上实现了显著的推理加速。
原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/139452661
2024-06-09
EfficientVMamba实战：使用 EfficientVMamba实现图像分类任务
作者研究了轻量级模型设计的新方法，通过引入视觉状态空间模型（SSM）以提高效率和性能。提出了一种名为EcientVMamba的高效模型变体，结合选择性扫描和有效跳跃采样，同时利用全局和局部表示特征。EcientVMamba在多种视觉任务中取得了具有竞争力的结果，并降低了计算复杂度。文章还探讨了SSMs在视觉任务中的应用，并指出现有轻量级模型在保持全局表示能力方面的挑战。
本文使用EcientVMamba模型实现图像分类任务，模型选择最小的EcientVMamba_T，在植物幼苗分类任务ACC达到了93%+，达到了ViM的水平。。
原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/137253836
2024-04-02
Hiera-MAE-Demo.zip
https://wanghao.blog.csdn.net/article/details/136443023?spm=1001.2014.3001.5502
2024-03-05
YoloV8改进策略：CoordConv给卷积加上坐标，从而使其具备了空间感知能力.zip
YoloV8改进策略：CoordConv给卷积加上坐标，从而使其具备了空间感知能力.zip
2024-02-21
MogaNet实战：使用MogaNet实现图像分类任务
作者多阶博弈论交互这一全新视角探索了现代卷积神经网络的表示能力。这种交互反映了不同尺度上下文中变量间的相互作用效果。提出了一种新的纯卷积神经网络架构族，称为MogaNet。MogaNet具有出色的可扩展性，在ImageNet和其他多种典型视觉基准测试中，与最先进的模型相比，其参数使用更高效，且具有竞争力的性能。具体来说，MogaNet在ImageNet上实现了80.0%和87.8%的Top-1准确率，分别使用了5.2M和181M参数，优于ParC-Net-S和ConvNeXt-L，同时节省了59%的浮点运算和17M的参数。源代码可在GitHub上(https://github.com/Westlake-AI/MogaNet)获取。
文章链接：https://wanghao.blog.csdn.net/article/details/136102061?spm=1001.2014.3001.5502
2024-02-12
YoloV8改进-三元注意力，小参数大能力，即插即用，涨点自如
注意力机制在计算机视觉领域得到了广泛的研究和应用，利用构建通道或空间位置之间的依赖关系的能力，有效地应用于各种计算机视觉任务。本文研究了轻量级但有效的注意力机制，并提出了一种新的计算注意力权重的方法——三元组注意力，通过一个三分支结构捕捉跨维度交互。对于输入张量，三元组注意力通过旋转操作和残差变换建立跨维度的依赖关系，并以极小的计算开销编码了跨通道和空间信息。这种方法既简单又高效，可以轻松地插入经典的主干网络中作为附加模块。在各种具有挑战性的任务中，如ImageNet-1k图像分类和MSCOCO和PASCAL VOC数据集上的目标检测，证明了该方法的有效性。此外，通过可视化检查GradCAM和GradCAM++结果，提供了对三元组注意力性能的深入见解。本文方法的实证评估支持了在计算注意力权重时捕捉跨维度依赖关系的重要性的直觉。
2024-02-05
Vim实战：使用Vim实现图像分类任务
Vim作为一种高效的视觉模型，具有计算和内存效率高、处理高分辨率图像能力强等优点。这使得Vim成为下一代视觉基础模型的理想选择。
本文使用Vim模型实现图像分类任务，模型选择最小的vim_tiny_patch16_224_bimambav2_final_pool_mean_abs_pos_embed_rope_also_residual_with_cls_token（这个方法的名字比较长。。。。。），在植物幼苗分类任务ACC达到了93%+。
文章链接：
https://wanghao.blog.csdn.net/article/details/135921108?spm=1001.2014.3001.5502
2024-01-30
FlashInternImage实战：使用FlashInternImage实现图像分类任务
将DCNv3替换为DCNv4创建的FlashInternImage模型可实现高达80%的速度提升和进一步性能改进，无需其他修改。DCNv4在速度和效率上的优势，结合其在各种视觉任务中的稳健性能，使其成为未来视觉模型的潜在基础构建块。
文章链接：
https://wanghao.blog.csdn.net/article/details/135873073?spm=1001.2014.3001.5502
2024-01-27
UniRepLKNet实战：使用UniRepLKNet实现图像分类任务
大核卷积神经网络（ConvNets）近年来受到广泛关注，但仍存在两个关键问题需要进一步研究。首先，目前的大型卷积神经网络架构大多遵循传统卷积神经网络或Transformer的设计原则，而大核ConvNets的架构设计仍未得到充分解决。其次，尽管Transformer已在多种模态中占据主导地位，但仍需研究卷积神经网络是否也具备超越视觉领域的强大通用感知能力。
原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/135512795
2024-01-13
TransXNet实战：使用TransXNet实现图像分类任务
在ImageNet-1K图像分类任务中，TransXNet-T相比Swin-T在top-1准确率上提高了0.3%，同时计算成本更低。此外，TransXNet-S和TransXNet-B展示了出色的模型扩展性，分别实现了83.8%和84.6%的top-1准确率，且计算成本合理。此外，我们的网络架构在各种密集预测任务中展现出了强大的泛化能力，优于其他先进的网络结构，且计算成本更低。总之，D-Mixer和TransXNet作为一种高效且具有强大泛化能力的网络结构，为计算机视觉领域提供了新的解决方案。
这篇文章使用TransXNet完成植物分类任务，模型采用transxnet_t向大家展示如何使用TransXNet。transxnet_t在这个数据集上实现了96+%的ACC
2023-12-19
Hiera实战：使用Hiera实现图像分类任务
现代层次视觉变换器在追求监督分类表现时增加了几个特定于视觉的组件。 这些组件虽然带来了有效的准确性和吸引人的FLOP计数，但增加的复杂性实际上使这些变换器比普通ViT更快。作者认为这种额外的体积是不必要的。 通过使用强大的视觉预训练任务(MAE)进行预训练，可以从最先进的多阶段视觉变换器中去除所有花里胡哨的东西，同时不会丢失准确性。 在此过程中，作者创建了Hiera，这是一种极其简单的层次视觉变换器，它比以前的模型更准确，同时在推理和训练过程中都明显更快。 在各种任务上评估了Hiera对于图像和视频识别的表现。 代码和模型可以在https://github.com/facebookresearch/hiera上获得。
这篇文章使用Hiera完成植物分类任务，模型采用hiera_tiny_224向大家展示如何使用Hiera。
原文链接：https://wanghao.blog.csdn.net/article/details/134642935
2023-12-07
RevCol实战：使用RevCol实现图像分类任务
可逆柱状结构（RevCol）是一种网络结构，它受到GLOM（Global Columnar Memory）的启发。RevCol由N个子网络（或称为列）组成，每个子网络的结构和功能都是相同的。这种结构可以有效地解决信息崩溃的问题，通过在前面的列中添加额外的监督，以保持特征和输入图像之间的互信息。此外，RevCol可以逐渐解耦语义和低级信息，从而提取和利用任务相关信息来进一步提高性能。在实现上，对于中间监督，采用了加权求和的方式将两个损失合并，对于所有变体的RevCol，通过实验确定将监督头添加到特定的列中。
这篇文章使用RevCol完成植物分类任务，模型采用revcol_tiny向大家展示如何使用RevCol。revcol_tiny在这个数据集上实现了96+%的ACC，
2023-11-25
FastVIT实战：使用FastVIT实现图像分类
第一步 执行makedata.py 创建训练集和验证集
第二步 执行train.py训练
第三步 执行export_model.py 导出模型
第四步 执行test.py 测试
非常简单，适合初学者
2023-08-21
VGGNet剪枝实战：使用VGGNet训练、稀疏训练、剪枝、微调等，剪枝出只有3M的模型
在BN层网络中加入稀疏因子，训练使得BN层稀疏化，对稀疏训练的后的模型中所有BN层权重进行统计排序，获取指定保留BN层数量即取得排序后权重阈值thres。遍历模型中的BN层权重，制作各层mask（权重>thres值为1，权重<thres值为0）。剪枝操作，根据各层的mask构建新模型结构（各层保留的通道数），获取BN层权重mask非零值的索引，非零索引对应的原始conv层、BN层、linear层各通道的权重、偏置等值赋值给新模型各层。加载剪枝后模型，进行fine-tune。
原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/132054977
2023-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人