csdn_xmj的博客

扩散模型[21]在各种模态的生成任务上近期展现了令人印象深刻的表现，包括图像[6; 3]，视频[7; 8]，音频[12]，以及分子[9]。然而，使用扩散模型生成新样本的过程可能较慢，因为需要多次调用去噪网络[25]。为了提高采样效率[26]，一些最具前景的方法关注于减少采样步骤（例如，DDIM[22]和基于蒸馏的方法[19; 15]）或改变采样空间（例如，潜在扩散[18]）。

今天给大家介绍一篇CIKM 2024中的时间序列预测工作，这篇文章针对高维多变量时序预测问题，提出了一种基于Transformer的建模方法。

RT-DETR是第一个基于实时端到端Transformer的目标检测器。其效率来源于框架设计和Hungarian matching。然而与YOLO系列等密集的监督检测器相比，Hungarian matching提供了更稀疏的监督，导致模型训练不足，难以达到最佳结果。

序列建模的一个核心问题在于长距离依赖关系 (long-range dependencies, LRD)。一个有潜力的方法是模拟状态空间模型 (state space model, SSM)，它从理论和实践上被验证，当选取一些特殊参数时（参考 HiPPO），可以处理 LRD，然而有着极高的计算与内存要求。这篇论文基于 SSM 的新参数化提出 Structured State Space sequence model (S4)，并证明了它可以在保留理论优势的同时大幅降低时间、空间复杂度。

香港大学俞益洲教授团队开发了通用视觉主干网络TransXNet，引入了D-Mixer模块，专注捕捉全局与局部动态性。经实验验证，TransXNet在ImageNet-1K、COCO 2017等数据集上均展现出卓越的性能。本篇分享论文TransXNet: Learning both global and local dynamics with a dual dynamic token mixer for visual recognition，通用的视觉Backbone，TransXNet: 全局动态性+局

transformer是一种编解码（encoder-decoer）结构，用于自然语言处理、计算机视觉等领域，编解码结构是当前大模型必包含的部分。

Transformer计算，竟然直接优化到乘法运算了。MIT两位华人学者近期发表的一篇论文提出：Addition is All You Need，让LLM的能耗最高降低95%。

本文深入探讨了Transformer、循环神经网络（RNN）和状态空间模型（SSM）之间的潜在联系。文章首通过这些分析，展示了看似不同的模型架构之间存在深层联系，为未来模型设计和跨架构思想交流提供了新的视角和可能性。

基于Transformer的分割方法在处理高分辨率图像时面临着有效推理的挑战。最近，一些线性注意力架构，如Mamba和RWKV，因其能够高效处理长序列而受到广泛关注。在这项工作中，作者通过探索这些不同的架构来设计一个高效的“分割任何物体”模型。具体来说，作者设计了一个混合骨架，包含卷积和RWKV操作，它在准确性和效率上都取得了最佳效果。

LongLLaVA（长上下文大型语言和视觉助手）这一创新性混合架构模型，在长上下文多模态理解方面表现出色。该模型集成了 Mamba 和 Transformer 模块，利用多个图像之间的时空依赖性构建数据，并采用渐进式训练策略。

Mamba 虽然已经在一些领域取得了出色表现，但总体而言，Mamba 研究仍还处于起步阶段，前方仍还有一些挑战有待克服。当然，这些挑战同时也是机遇。

讯飞智聘是一款面向企业招聘全流程的智能化解决方案。运用科大讯飞先进的智能语音、自然语言理解、计算机视觉等AI技术及大数据能力，具备业界领先的简历解析、人岗匹配、AI面试、AI外呼等产品功能，助力企业提升招聘效率，降低招聘成本。人岗匹配是企业招聘面临一个重大挑战，尤其在校园招聘等集中招聘的场景下，面对海量的简历，如何快速分类筛选出最适合招聘岗位的简历，以及在内推和猎头场景下，如何为一份简历找到合适的岗位，做到人适其岗、岗适其人，提升人岗匹配的效率和准确度，是困扰每一个HR和面试官的难题。

Transformer挑战者、新架构Mamba，刚刚更新了第二代：Mamba-2，状态空间扩大8倍，训练速度提高50%！更重要的是，团队研究发现原来Transformer和状态空间模型（SSM）竟然是近亲？？

知识蒸馏是压缩神经网络的三种主要方法之一，使其适合于性能较弱的硬件。与其他两种强大的压缩方法权值剪枝和量化不同，知识蒸馏不直接对网络进行缩减。相反，它使用最初的模型来训练一个更小的模型，称为“学生模型”。由于教师模型甚至可以对未标记的数据提供预测，因此学生模型可以学习如何像教师那样进行泛化。在这里，我们看到了两个关键的结果：最初的论文，它介绍了这个想法，和一个后续的论文，展示了简单的模型，如决策树，也可以用作学生模型。

在大模型领域，Transformer 凭一己之力撑起了整个江山。但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显，比如其自注意力机制的计算量会随着上下文长度的增加呈平方级增长。为了克服这些缺陷，研究者们开发出了很多注意力机制的高效变体，但收效甚微。

更具体地说，作为最成功的SSM变体之一，Mamba在保持与序列长度成线性扩展性的同时，达到了与Transformers相当的建模能力 [55]，因此成为焦点话题。因此，在本综述中，我们从多个角度对Mamba进行了全面回顾，以为新人提供对Mamba内在工作原理的基础理解，同时帮助有经验的从业者跟上其最新的发展。具体而言，本综述的其余部分组织如下：第2节，我们回顾了各种具有代表性的深度神经网络的背景知识，包括RNNs、Transformers和状态空间模型，而第3节介绍了Mamba的详细内容。

深度生成模型是一类强大的机器学习工具，它可以从输入数据学习其潜在的分布，进而生成与训练数据相似的新的样本数据，它在计算机视觉、密度估计、自然语言和语音识别等领域得到成功应用, 并给无监督学习提供了良好的范式。

本文提出了双向门控 SSM（BiGS）模型，结合基于状态空间模型（SSM）的 Routing 层和基于乘法门的模型架构，在不使用注意力的情况下能够复制 BERT 预训练结果，并可扩展到 4096 个 token 的长程预训练，不需要近似。

软件工程师可能会更容易过渡到 LLM 工程师的角色，因为与传统的数据科学工作相比，LLM 的实验过程更偏“工程化”，而没有那么强的“科学研究”属性。LLM 原生应用的开发是一个不断迭代的过程，它会涵盖越来越多的用例和功能，也会面临各种各样的挑战，而我们也需要不断探索，力求打造更加完善的 LLM 原生产品。虽然构建“酷炫的演示应用程序”很容易，但从“酷炫的演示”到真正落地且切实可行的解决方案之间，你需要通过大量的实验并且拥有敏捷的反应才可能实现。我的理论是，它减少了不相关的标记，并且表现得更像自然语言。

为了用更少的算力让扩散模型生成高分辨率图像，注意力机制可以不要，这是康奈尔大学和苹果的一项最新研究所给出的结论。

Albert Gu 表示，这项研究的一个重要创新是引入了一个名为「选择性 SSM」的架构，该架构是 Albert Gu 此前主导研发的 S4 架构（Structured State Spaces for Sequence Modeling ，用于序列建模的结构化状态空间）的一个简单泛化，可以有选择地决定关注还是忽略传入的输入。研究者将先前的 SSM 架构设计与 Transformer 的 MLP 块合并为一个块，从而简化了深度序列模型架构，形成了一种包含选择性状态空间的简单、同质的架构设计（Mamba）。

常用的模型压缩方法有4种：知识蒸馏（Knowledge Distillation，KD）、 轻量化模型架构、 剪枝（Pruning）、 量化（Quantization）。知识蒸馏是一种在深度学习中用于模型压缩和知识传递的技术。它通过将大型复杂模型（教师模型）的知识转移给小型简单模型（学生模型），从而优化学生模型的性能。

Mamba架构模型这次终于要「站」起来了？自 2023 年 12 月首次推出以来，Mamba 便成为了 Transformer 的强有力竞争对手。

作者受多维时间序列的本身的数据特性启发，反思了现有Transformer在建模时序数据的问题，提出了一个通用的时序预测框架iTransformer。iTransformer框架创新地引入倒置的视角观察时间序列，使得Transformer模块各司其职，针对性完成时序数据两个维度的建模难题，展现出优秀的性能和通用性。面对Transformer在时序预测领域是否有效的质疑，作者的这一发现可能启发后续相关研究，使Transformer重新回到时间序列预测的主流位置，为时序数据领域的基础模型研究提供新的思路。

transformers是现在NLP同学必备的库，但在使用的过程中主要的代码是需要自定义数据集，那么如何舒服的读取数据，并使用transformers进行训练模型呢？

在本文中，作者引入了MambaVision，这是首个专门为视觉应用设计的Mamba-Transformer混合骨架。作者提出了重新设计Mamba公式的方法，以增强全局上下文表示的学习能力，并进行了混合设计集成模式的综合研究。

GAN 由两个部分组成：生成器（Generator）和判别器（Discriminator）。这两个部分通过一种对抗的过程来相互改进和优化。

本篇博客全面汇总了大型语言模型（LLMs）。从早期的预训练神经语言模型开始，探讨了它们的起源和发展。重点讨论了Transformer架构及其三个主要分类：仅编码器PLMs、仅解码器PLM和编码器-解码器PLM。接着，文章聚焦于GPT、LLaMA和PaLM这三大LLM家族，阐述了它们的特点和对语言模型领域的贡献。此外，还涉及了其他重要的LLMs，展现了该领域的广泛性和多样性。这篇博客不仅是对LLMs历史和模型做了完整的梳理，也突出了它们在自然语言处理技术发展中的关键角色。

今天给大家分享一个超强的算法模型，，xLSTM。xLSTM（Extended Long Short-Term）是对传统 LSTM（Long Short-Term Memory）模型的扩展和改进，旨在提升其在处理时间序列数据和序列预测任务中的性能。传统的 LSTM 模型通过引入遗忘门、输入门和输出门，解决了标准 RNN（Recurrent Neural Network）在长序列数据中存在的梯度消失和梯度爆炸问题。然而，LSTM 仍然存在一些局限性，尤其是在处理非常长的序列或需要更高维度特征提取时。

在本文中，作者提出了一种名为MDP的新颖剪枝框架，它将通道、层和块剪枝整合到一个统一的优化过程中，并开发了一种精确的延迟建模技术，捕捉输入和输出通道的同时变化。为了融合这些策略，作者将剪枝重新定义为混合整数非线性规划（MINLP），以在单次传递中高效地识别在特定延迟预算内的最优剪枝结构。

本文来源公众号，仅用于学术分享，侵权删，干货满满。今天我们一起来聊一下深度学习中的注意力（Attention）机制注意力机制是深度学习中引入的一种技术，特别适用于通过引入注意力机制，Seq2Seq 模型能够在解码每个时间步时，动态地选择和关注输入序列中的不同部分，从而更好地捕捉输入序列的全局信息。在讨论注意力机制之前，我们先来了解一下 Seq2Seq 模型。

Transformers是自然语言处理领域的一项革命性技术，它也对计算机视觉产生了重大影响，有可能提高准确性和计算效率。YotoR将坚固的Swin Transformer主干与YoloR颈部和头部相结合。在实验中，YotoR模型TP5和BP4在各种评估中始终优于YoloR P6和Swin Transformers，比Swin Transformer模型提供了改进的目标检测性能和更快的推理速度。这些结果突出了进一步的模型组合和改进Transformer实时目标检测的潜力。

LSTM（Long Short-Term Memory）是一种特殊类型的循环神经网络（RNN），专门设计用来解决传统 RNN 在处理序列数据时面临的长期依赖问题。LSTM 的关键特征是其维持细胞状态的能力，细胞状态充当可以存储长序列信息的记忆单元。这使得 LSTM 能够随着时间的推移选择性地记住或忘记信息，使它们非常适合上下文和远程依赖性至关重要的任务。

研究者提出了一个名为EfficientViT的高速Vision transformers家族。我们发现，现有transformer模型的速度通常受到内存低效操作的限制，特别是MHSA中的张量整形和逐元函数。因此，研究者设计了一种具有三明治布局的新构建块，即在有效的FFN层之间使用单个存储器绑定的MHSA，这在增强信道通信的同时提高了存储器效率。

上篇文章我们已经介绍了编码器中的大部分概念，也基本知道了编码器的原理。现在让我们来看下， 编码器和解码器是如何协同工作的。编码器一般有多层，第一个编码器的输入是一个序列文本，最后一个编码器输出是一组序列向量，这组序列向量会作为解码器的 K、V 输入，其中 K=V=解码器输出的序列向量表示。这些注意力向量将会输入到每个解码器的 Encoder-Decoder Attention 层，这有助于解码器把注意力集中到输入序列的合适位置，如下图所示。

今天给大家分享一个超强的算法模型，Transformer。我们会分两篇文章进行讲解。Transformer 模型是深度学习中一种「基于注意力机制」的模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本生成和问答系统。它由 Vaswani 等人在 2017 年的论文《Attention Is All You Need》中提出，突破了传统序列模型（如RNN和LSTM）的限制，特别是在长距离依赖问题上表现出色。它是 ChatGPT 和所有其他 LLM 的支柱。

FasterTransformer是 NVIDIA 推出的一个用于加速 Transformer 模型推理的库。该库主要通过使用 NVIDIA 的深度学习加速库 cuBLAS、cuDNN 和 TensorRT，以及深度学习框架 TensorFlow 和 PyTorch 的扩展，对 Transformer 模型进行优化和加速。本系列文章试图对FasterTransformer中的Decoding Model进行详细的分析，主要探究其代码模块设计、性能加速优化方案和CUDA Kernel实现技巧，通过学习源码掌

时间序列预测是一个经久不衰的主题，受自然语言处理领域的成功启发，transformer模型也在时间序列预测有了很大的发展。本文可以作为学习使用Transformer 模型的时间序列预测的一个起点。

随着移动计算技术的迅速发展，在移动设备上部署高效的目标检测算法成为计算机视觉领域的一个关键研究点。本研究聚焦于优化YOLOv7算法，旨在提高其在的操作效率和速度，同时确保高准确度。通过结合高级技术，如，本研究有效减少了模型的参数数量和内存使用，简化了网络架构，并加强了在资源受限设备上的实时目标检测能力。实验结果表明，改进后的YOLO模型表现出色，显著提升了处理速度同时保持了卓越的检测准确度。

目前基于Transformer结构的算法模型已经在计算机视觉（CV）领域展现出了巨大的影响力。他们在很多基础的计算机视觉任务上都超过了之前的卷积神经网络（CNN）算法模型。本文为读者详细讲解近3年Transformer在小目标领域的进展及突破！