在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步

专深度学习相关项目都写在本专栏，《一次订阅解锁全部，都有源码，永久观看》，包括车牌识别、股票预测、人脸识别、风格迁移、图像修复、图像超分辨重建、图像分割等任务，Web/PyQt系统实现。引入Transformer、Swin Transformer、DenseNet、ViT、ConvNeXt等算法实战，提供卷积改进，魔改对比实验，模型剪枝，模型蒸馏，模型量化，全网独家整合改进专栏，为不同领域的同学发表论文提供了大力支持。

本文通过将 Inception 多分支结构 缝合进 ConvNeXt Block，利用空间维度的解耦策略，用轻量化的条形卷积（Band Convolution）替代臃肿的正方形大核。实验表明，该改进方案在不改变 ConvNeXt 宏观架构的前提下，显著扩大了模型的有效感受野，并大幅降低了推理延迟，为构建更高性能、更易部署的视觉 Backbone 提供了有力支撑。从“单路径大核”到“多路径分解”将通道维度等比例切分为四个独立分支。

本文解析的是发表于遥感顶刊 IEEE TGRS 2025 上的核心注意力模块 —— IIA (信息交互注意力)。在实时城市语义分割任务中，如何捕捉图像的长程空间依赖同时兼顾计算效率是长期的难题。IIA 模块打破了传统注意力机制仅在空间或通道单一维度进行建模的局限。它通过**维度置换（Dimension Permutation）**策略，将特征图分别在水平和垂直方向进行解耦，利用轻量化的 1D 卷积捕捉跨维度的结构关联。

PartialNet 及其核心算子 PATConv。在追求端侧实时推理的过程中，传统的 PConv（部分卷积）虽然显著降低了冗余计算，但也因固定的通道采样模式限制了模型对复杂特征的表达能力。PartialNet 创新性地提出了基于注意力引导的部分卷积（Partial Attention-based Convolution, PATConv）。该架构通过在部分通道分支中引入轻量化的注意力动态感知机制，实现了计算资源在空间和通道维度上的自适应分配。

本文解析的是发表于 ICCVW 2025 的轻量化医学影像分割网络 MK-UNet。在医学图像处理领域，病灶（如肿瘤、息肉）的尺度变化剧烈，传统的单核 CNN 难以平衡局部细节与全局上下文，而 Transformer 模型虽性能优异但计算开销巨大。MK-UNet 提出了一种多核卷积块（MK-Block），通过并行集成不同尺寸的卷积核，使模型在保持极低参数量（仅 1.5M 左右）的同时，具备强大的多尺度特征感知能力。

本文解析的是由 Kimi (月之暗面) 团队发布的最新技术报告 《Attention Residuals》。在传统 Transformer 架构中，注意力模块产生的输出直接与残差流（Residual Stream）进行加法合并。然而，Kimi 团队研究发现，随着模型规模和上下文长度的不断增加，注意力输出往往会逐渐“主导”或“污染”残差流，导致模型在深层训练时出现收敛困难和特征坍塌。为此，Kimi 团队提出了一种全新的注意力残差化（Attention Residualization）方案。

本文解析的是 AAAI 2026 录用的核心成果 —— HOGformer 及其核心算子 Attention_DHOGSA。该研究通过“老瓶装新酒”，重新审视了经典的 HOG（方向梯度直方图） 描述子，并将其转化为一种显式的梯度条件先验。DHOGSA（动态 HOG 感知自注意力） 机制通过实时提取输入图像的梯度强度与方向，引导自注意力权重在空间上进行动态分布。

本文解析的是 CVPR 2023 的模型 InternImage。在视觉大模型普遍转向 Vision Transformer (ViT) 的背景下，InternImage 另辟蹊径，使用改进版可变形卷积（DCNv3的全新架构。通过将 DCN 的动态稀疏特性与现代大模型的扩展定律（Scaling Laws）相结合，InternImage 成功将 CNN 的参数量推向了 10 亿（1B） 级别。

DCNv2对原始的DCNv1进行了改进，可变形卷积网络的卓越性能源于其适应对象几何变化的能力。通过对其自适应行为的检查，虽然对其神经特征的空间支持比常规的ConvNets更接近于对象结构，但这种支持可能远远超出感兴趣区域，导致特征受到不相关图像内容的影响。为了解决这个问题，我们提出了一种可变形卷积网的重新表述，通过提高建模能力和更强的训练，提高了其专注于相关图像区域的能力。通过更全面地集成网络中的可变形卷积，并引入扩展变形建模范围的调制机制，增强了建模能力。

WTConv（基于小波变换的卷积层），用于在卷积神经网络（CNN）中实现大感受野。作者通过利用小波变换，设计了一个卷积层，可以在保持少量可训练参数的情况下大幅扩大感受野。WTConv 被设计为可以无缝替换现有 CNN 架构中的深度卷积层，适用于图像分类、语义分割、物体检测等任务。WTConv 的核心思想是通过结合卷积神经网络（CNN）的强大特征提取能力与小波变换的多尺度特性，来实现大感受野的卷积操作，同时避免传统大卷积核带来的参数爆炸问题。

大规模视觉预训练显著提高了大规模视觉模型的性能。现有的低 FLOPs 模型无法从大规模预训练中受益。在本文中，作者提出了一种新的设计原则，称为 ParameterNet，旨在通过最小化FLOPs的增加来增加大规模视觉预训练模型中的参数数量。利用 DynamicConv 动态卷积将额外的参数加入到网络中，而几乎不增加FLOPs。ParameterNet 方法使低 FLOPs 网络能够受益于大规模视觉预训练。

视觉 Transformer 在多种任务中取得了显著的成功，这得益于基于点积自注意力的新空间建模机制。视觉 Transformer 中的关键因素——即输入自适应、长距离和高阶空间交互——也可以通过卷积框架高效实现。作者提出了递归门控卷积（Recursive Gated Convolution，简称 gnConv），通过门控卷积和递归设计执行高阶空间交互。该新操作具有高度的灵活性和可定制性，兼容各种卷积变体，并将自注意力中的二阶交互扩展到任意阶数，而不会引入显著的额外计算。

空间注意力已广泛应用于提升卷积神经网络（CNN）的性能，但它存在一定的局限性。作者提出了一个新的视角，认为空间注意力机制本质上解决了卷积核参数共享的问题。然而，空间注意力生成的注意力图信息对于大尺寸卷积核来说是不足够的。因此，提出了一种新型的注意力机制——感受野注意力（RFA）。现有的空间注意力机制，如卷积块注意力模块（CBAM）和协调注意力（CA），仅关注空间特征，未能完全解决卷积核参数共享的问题。相比之下，RFA不仅关注感受野的空间特征，还为大尺寸卷积核提供有效的注意力权重。

由于残差连接中的深度退化效应，许多依赖堆叠层进行信息交换的高效视觉Transformer模型往往无法形成足够的信息混合，导致视觉感知不自然。为了解决这个问题，作者提出了一种聚合注意力（Aggregated Attention），这是一种基于仿生设计的token混合器，模拟了生物的中央凹视力和连续眼动，同时使特征图上的每个token都具有全局感知能力。此外，作者引入了可学习的token，这些token可以与传统的查询和键进行交互，从而在生成亲和矩阵时不仅仅依赖于查询和键之间的相似性。

B2CNet网络结合变化边界感知并引入“由边到中心（boundary-to-center）”理念的新型变化检测网络。该网络引入了一个变化边界感知模块（CBM），用于捕获变化区域的边界信息。该模块能够增强边界特征，减少特征差分中噪声的影响，并提供丰富的上下文信息以提高变化边界的准确性。此外，作者提出了一个基于时空特征的双时相特征聚合模块（BFAM）。BFAM 聚合多感受野特征并补充纹理信息。这两个模块均采用 SimAM 注意力机制，以增强特征的细粒度表达，因此本文将引入BFAM模块，二次创新结构。

Kolmogorov-Arnold 网络 （KAN） 是多层感知器 （MLP） 的有前途的替代品。KAN 与 MLP 一样具有强大的数学基础：MLP 基于通用近似定理，而 KAN 基于 Kolmogorov-Arnold 表示定理。KAN 和 MLP 是双重的：KAN 在边缘上具有激活函数，而 MLP 在节点上具有激活函数。KANs与传统 MLPs 在节点（神经元）上使用固定激活函数不同，KANs 在边（权重）上使用可学习的激活函数，权重以 B 样条函数形式表示，每个激活函数可根据输入调整细粒度参数。

空洞卷积（Atrous Convolution）是一种可以在卷积操作中插入“空洞”来扩大感受野的技术，更有效地捕捉到图像中的大范围上下文信息。可切换空洞卷积（SAC）则通过自适应地切换不同的空洞率，使得模型能够灵活地根据特定场景调整卷积的感受野，从而更好地处理不同大小的目标。

LDConv（线性可变形卷积）旨在克服标准卷积和可变形卷积的限制。标准卷积使用固定的采样位置，只能提取局部信息，而可变形卷积通过学习偏移量来调整采样网格，但它们仍然使用规则的采样网格。LDConv通过生成初始采样坐标，并根据偏移量调整采样形状，实现任意大小卷积核的特征提取。根据卷积核参数数量 num_param，计算基数 base_int。使用 torch.meshgrid 函数生成规则卷积核的采样坐标。对规则卷积核的采样坐标进行展平处理。

本科做一下对比实验即可（与现有方法对比 + 一个改进模型对比基本欧克了 + 系统设计与实现），硕博发表论文需要做更多（融合模块改进 + 对比实验 + 消融实验 + 模型剪枝/蒸馏 + 冲击 1 区 2区需要自研模块 + 系统设计与实现等）基于ResNet + LLM大语言模型的分类识别系统设计与实现，Web前后端分离，Django+vue3+AI助手模块+ResNet50算法+LLM 联动+Element Plus等技术，全网独发。

积神经网络 (CNN) 在各种计算机视觉任务中取得了卓越的表现，但这是以巨大的计算资源为代价的，部分原因是卷积层提取了冗余特征。最近的研究要么压缩训练有素的大规模模型，要么探索精心设计的轻量级模型。在本文中，我们尝试利用特征之间的空间和通道冗余进行 CNN 压缩，并提出一种高效的卷积模块，称为 SCConv（空间和通道重构卷积），以减少冗余计算并促进代表性特征学习。提出的 SCConv 由两个单元组成：空间重构单元 (SRU) 和通道重构单元 (CRU)。

因为在这一层，网络经过了最深度的特征提取，具备了最强的高级语义理解能力；同时，它的特征图依然保持着二维的空间维度（比如。

轻量化注意力机制 MLCA（Multi-Level Coordinate Attention）。针对传统坐标注意力（CA）在提取空间信息时容易忽略局部细节以及多尺度特征表达不足的问题，MLCA 提出了一种多级信息融合策略。它不仅继承了 CA 能够捕捉长程依赖和精确位置信息的优势，还通过在不同粒度级别上对通道和空间信息进行建模，增强了模型对局部显著区域的感知能力。

大核注意力（LKA）模块的视觉注意力网络（VAN）在多种基于视觉的任务上表现出卓越的性能，超越了视觉变换器（ViTs）。然而，这些LKA模块中的深度卷积层随着卷积核大小的增加，计算量和内存占用呈二次增长。为了缓解这些问题，并实现在VAN的注意力模块中使用极大的卷积核，我们提出了一系列名为LSKA的大可分离核注意力模块。LSKA将深度卷积层的二维卷积核分解为级联的水平和垂直一维核。与标准LKA设计不同，所提出的分解方法使得注意力模块可以直接使用大核的深度卷积层，而无需任何额外的块。

本文集中于开发用于密集预测的现代、高效、轻量级模型，同时在参数、FLOPs 和性能之间进行权衡。反向残差块（IRB）是轻量级CNN的基础结构，但在基于注意力的研究中没有得到相应的重视。本文从统一的角度重新思考了轻量级基础结构，结合了高效的 IRB 和 Transformer 的有效组件，将基于 CNN 的 IRB 扩展到基于注意力的模型，并抽象出一个用于轻量级模型设计的单残差Meta Mobile Block（MMB）。

引入可变形大核注意力 （D-LKA Attention） 的新方法来增强医学图像分割。这种方法使用大型卷积内核有效地捕获体积上下文，避免了过多的计算需求。D-LKA Attention 还受益于可变形卷积，以适应不同的数据模式。大核卷积（Large Kernel Convolution）：大核卷积通过使用更大的卷积核来捕捉更广泛的上下文信息。与传统的卷积操作相比，它能在相同的感受野下减少参数量，降低计算复杂度。该方法能够在保持较低计算开销的情况下实现全局信息的聚合。

基于Transformer的方法在低层视觉任务中表现出色，例如图像超分辨率。然而，作者通过归因分析发现，这些网络只能利用有限的空间范围的输入信息。这意味着现有网络尚未充分发挥Transformer的潜力。为了激活更多的输入像素以获得更好的重建效果，作者提出了一种新型的混合注意力（HAT）。将 HAttention 机制融入 ConvNeXt 主要为了提升图像清晰度的效果，提高模型识别效果。

ConvNeXt 改进 ：一文带你ConvNeXt添加CBAM、SE、CA、GAM、EMA、ECA、DA注意力机制，二次创新CNBlock结构 ，实现涨点，独家首发

ConvNeXt 改进 ：ConvNeXt 添加STA注意机制（超级令牌注意力机制，CVPR2023），二次创新CNBlock结构 ，实现涨点，独家首发

ConvNeXt 改进 | 融合篇：引入SCSA空间和通道协同注意力模块（SCI 期刊 2024），SCSA注意机制 + LWGA_Block，实现涨点，二次创新CNBlock结构，独家首发

稀疏多层感知机（sMLP）通过稀疏连接和权重共享降低了多层感知机的计算复杂度。在多层感知机（MLP）中，下图深橙色的标记与单个多层感知机层中的所有其他标记进行交互。相比之下，在一个稀疏多层感知机层（b）中，深橙色的标记仅与浅橙色标记的水平标记和垂直标记进行交互。当执行两次稀疏多层感知机时，可以实现与所有其他白色标记的交互。同一行或同一列通常共享同一组线性投影权重，这极大地减少了模型的参数量，防止了过拟合。sMLP 通过行列投影保留了一定的空间结构先验，提供更强的空间建模能力，同时不会引入过高的计算开销。

SSPCAB是一个“即插即用”的建筑块，可以非常容易地集成到现有的各种异常检测框架中。引入了一种自监督的预测机制，通过重建被遮盖的信息来学习正常样本的特征。用掩码卷积（Masked Convolution）机制，通过物理隔离中心像素，迫使模型仅利用周围像素（Context）来预测中心区域的特征。这种自监督的预测任务能够使模型对正常模式的局部规律产生极强的感知力，从而在推理阶段通过预测误差（Reconstruction Error）精准定位异常区域。

SCSA通过结合空间注意力（SMSA）和通道注意力（PCSA）来提升模型在多语义特征学习中的表现。其核心目标是减小多语义特征之间的差异，增强特征之间的相关性，从而提高视觉任务（如图像分类、目标检测等）的性能。空间注意力（SMSA）模块：目标： 提取每个特征的多语义空间信息，生成空间先验。空间注意力主要集中在不同特征图的空间维度（即图像的高度和宽度），通过对特征进行分解，提取在空间维度上不同语义信息的关注区域。

Vision Transformer剪枝，模型压缩 | 模型剪枝篇，Vision Transformer 结构化剪枝实战，无损剪枝与微调教程（附完整代码）

模型压缩 | 模型剪枝篇，Swin Transformer 结构化剪枝实战，无损剪枝与微调（附完整代码）教程

在语言、机器翻译等核心序列任务中，RNN及其门控变体（LSTM, GRU）大家应该很熟悉了，也见的比较多了。传统循环神经在实际工程实现中，处理变长序列所需的繁琐对齐与填充操作，使其在计算资源利用率上大打折扣。随着深度学习迈向大规模预训练时代，Transformer 模型，完全抛弃了传统的循环结构，引入了自注意力机制(Self-Attention)，这个就是它的核心。那么下文带你深入了解 Transformer 模型。

模型压缩 | 模型剪枝篇，改进后的模型怎么剪枝，改进模型剪枝，解决 IndexError: list index out of range 报错

Vision Transformer (ViT) 实战教程：手把手带你训练自己的数据集（附完整源码+数据集）。Vision Transformer（ViT）在性能上优于最先进的卷积网络，同时训练所需的计算资源也显著减少。

Swin Transformer 实战教程：手把手带你训练自己的数据集（附完整源码+数据集）。Transformer 模型可以说是目前最火的模型之一，目前 ChatGPT、各种开源大模型低层就是使用 Transformer 构建，Swin Transformer 可以说是当前计算机视觉模型的第一梯队。

基于改进的 ConvNeXt 算法，引入LWGA轻量分组注意力模块，模型结构精读，保姆级别教程

模型压缩 | 模型剪枝篇，ConvNeXt 结构化剪枝实战：基于 DepGraph 的无损剪枝与微调（附完整代码），开启同构剪枝