2024年令人兴奋的10篇大模型研究和论文

最新推荐文章于 2025-03-11 20:19:50 发布

福福很能吃

最新推荐文章于 2025-03-11 20:19:50 发布

阅读量1.7k

点赞数 19

文章标签：人工智能自然语言处理语言模型 transformer 开发语言

本文链接：https://blog.csdn.net/2401_85280106/article/details/145224172

版权

后台回复"资料"，即可获取整理好的算法面试题(大模型、深度学习、机器学习)

2024年对于人工智能来说是一个绝对精彩的年份。每次我觉得我们已经达到了创新的极限时，总有人会突破它，然后又有人将其碎片整合成一个更好的版本。从复杂的推理语言模型到VLMs和视频模型，进步是可以看得到的。

Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model (Jan)

💥 引用次数高
这篇论文的引用次数非常高，目前已有842次引用
这一年以“Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model”这篇论文强势开场，该论文挑战了计算机视觉领域的传统智慧。Vision Mamba是一个最先进的视觉表示模型，它大胆地提出了这样一个问题：“我们真的需要自注意力来实现卓越的视觉性能吗？

Vim用一种极其高效的双向状态空间模型（SSMs）取代了传统的自注意力机制，这是视觉变换器的标志。通过这样做，它在不牺牲性能的情况下实现了显著的计算和内存效率。这不仅仅是一个渐进式的改进；这是关于我们如何看待视觉主干架构的范式转变。

其他需要考虑的因素：
➡️ 为高分辨率图像优化
高分辨率图像处理一直是一个瓶颈，但Vim优雅地绕过了这些限制。它的线性内存复杂度和亚二次计算意味着更快的推理（高达2.8倍）和显著的GPU内存节省（86.8%）。对于处理资源密集型应用的研究人员和行业来说，这是一股清新的空气。
➡️ 状态最先进的结果
在ImageNet上达到了76.1%的top-1准确率，并且在多个基准测试中持续超越DeiT的表现，Vim为视觉主干架构设定了新的标准。

Mixtral of Experts (January)

💥 引用次数高
这篇论文的引用次数非常高，目前已有1167次引用

如果1月在AI论文中还有第二颗皇冠上的明珠，那无疑是“专家混合”。这篇论文不仅仅是在调整现有架构，它大胆地重塑了我们对模型效率和可扩展性的思考。拥有1167次引用并且还在增加，很明显AI社区对专家混合的讨论非常热烈，这是有充分理由的。

专家混合引入了一种创新的稀疏专家混合（SMoE）架构，这是效率和性能的完美结合。它在研究社区中引起了轰动，因为它在基准测试和评估中显示出超越其大小10倍的模型的显著结果（超过了GPT-3.5 Turbo、Claude-2.1、Gemini Pro和Llama 2 70B）。

其他需要考虑的因素：
➡️ 不妥协的效率
专家混合在活跃参数使用上比Llama 2 70B等密集模型低5倍，同时在各方面都超越了它们。无论是数学、代码生成还是多语言任务，专家混合都能以显著降低的计算成本提供最先进的结果。
➡️ 指令调优的卓越性
专家混合的微调变体，Mixtral 8x7B Instruct，在指令遵循任务中是一个改变游戏规则的存在。它在人类评估中超越了GPT-3.5 Turbo、Claude-2.1，甚至Gemini Pro，为指令调优模型设定了新的基准。
➡️ 开源且易于获取
在Apache 2.0许可证下发布，并附带支持高效推理的工具（例如，与vLLM和Megablocks CUDA内核的集成）。

Exploring LLM based Intelligent Agents: Definitions, Methods and Prospects. (January)

2024年的开始不仅带来了技术突破，还对可能成为AI下一个重大飞跃的事物进行了发人深省的探索。“探索基于大型语言模型的智能代理：定义、方法和前景”，在我看来，这不仅仅是一篇论文，它是智能系统未来以及其为实现具身AI铺平道路的路线图。这对我来说也是个人最喜欢的论文之一，不仅因为我对它的钦佩，还因为它对具身AI的富有远见的视角。作为一个已经成为2025年热门话题的概念，这篇论文为可能是AI进化中最具变革性的发展之一奠定了基础。

这篇论文深入探讨了基于大型语言模型的智能代理不断发展的格局，定义了它们的角色、方法和可能性。它不仅仅是关于对现有模型的渐进式改进或调整，而是更多地关于为能够重新定义AI能力的代理奠定概念和技术基础。

其他需要考虑的因素：
➡️ 开创多代理系统（MAS）
这篇论文探讨了基于LLM的代理不仅作为个体，而且作为协作多代理系统的一部分的功能。这些系统允许多角色协调、高效通信和跨复杂多域任务的无缝协作，推动了自主系统所能实现的边界。
➡️ 桥接语言和行动
这项工作的突出方面之一是其关注LLM如何作为代理的认知核心（仅用于讨论，这也是我在过去两年的LinkedIn文章和演讲中分享的内容），使它们能够通过自然语言与人类和工具进行交互。无论是查询数据库、执行代码还是进行实时推理，基于LLM的代理都展示了前所未有的直观交互水平。
➡️ 推进记忆和规划
从思维链到思维图方法，这篇论文强调了增强推理的先进规划技术。与强大的记忆系统（短期记忆、长期记忆和向量数据库）相结合，这些代理能够动态适应，做出既具有情境意识又具有未来导向的决策。

How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs (January)

🥇 ACL 2024最佳社会影响论文

💥 引用次数适中
是我一个人觉得1月就像是AI研究的重磅大片月吗？在这里，我们又深入研究了年初的另一篇杰出论文。按照这个速度，1月可能需要它自己的AI名人堂了！我们列表中的第四个条目，“约翰尼如何说服LLMs越狱：通过人性化LLMs重新思考说服以挑战AI安全”对AI安全采取了完全新颖的方法，它既迷人又令人不安。这篇论文是一个改变游戏规则的存在，因为它完全重新定义了AI安全。它将关注点从算法漏洞转移到了类似人类沟通的风险上。随着LLMs越来越多地融入日常生活，无论是意外还是故意地劝说它们产生有害输出的能力构成了一个巨大的挑战。

这篇论文目前有168次引用

这篇论文颠覆了我们对AI漏洞的看法。作者没有将大型语言模型（LLMs）当作冷漠的算法机器，而是将它们人性化，像研究有说服力的沟通者一样研究它们的反应。通过这样做，他们发现了一类全新的漏洞，这可能会让你重新思考我们与这些模型的互动方式。其他需要考虑的因素：
➡️ 说服分类法
他们引入了一个由40种说服技巧组成的分类法，这些技巧被组织成13种策略，借鉴了数十年的心理学、社会学和市场营销研究。这就像一个工具包，用于了解如何魅力或操纵LLM去做你想做的事。
➡️ 令人震惊的成功率
使用说服性对抗提示（PAPs），研究人员在绕过Llama 2–7B、GPT-3.5和GPT-4等模型的安全措施方面取得了惊人的92%的成功率。相比之下，传统的越狱方法突然显得像是业余时间。
➡️ 跨学科的卓越性
通过将AI安全与社会科学联系起来，这篇论文展示了人类沟通见解如何能够照亮AI漏洞，将该领域推向未知领域。

Genie: Generative Interactive Environments (February)

🥇 ICML 2024最佳论文奖

💥 引用次数适中
“Genie”介绍了一种变革性的生成性AI方法，超越了图像和视频等静态媒体，创造了完全交互式、可控制的虚拟环境（在20万小时的游戏视频上进行训练）。对于强化学习来说，Genie解决了一个关键瓶颈：对多样化、现实训练环境的需求。其创建可扩展、可定制模拟的能力可能会加速训练能够处理多项任务的通用代理的进展。

这篇论文目前有103次引用

在核心，“Genie”代表了生成性AI的范式转变，重新定义了这些模型能够实现的目标。通过结合无监督学习和时空变换器架构，它为虚拟世界生成和互动开辟了新的前沿。

其他需要考虑的因素：
➡️ 基础世界模型
就像大型语言模型在NLP中作为基础工具一样，“Genie”定位自己作为虚拟环境的基础世界模型。其可扩展性和适应性使其成为无数应用的多功能工具。
➡️ 广泛的输入模态支持
“Genie”不挑剔，它可以处理文本描述、草图、图像，甚至是真实世界的照片，展示了其在输入类型上的强大稳健性。

One Model to Drift Them All: Physics-Informed Conditional Diffusion Model for Driving at the Limits (March)

🥇 CoRL 2024杰出论文

“One Model to Drift Them All: Physics-Informed Conditional Diffusion Model for Driving at the Limits”介绍了物理信息扩散模型（PIDMs），将扩散模型的优雅与物理定律的严谨性结合起来。在一个物理与机器学习相遇的世界里，PIDMs作为理论与应用之间的桥梁出现，将生成性AI推向了科学发现的领域，超越了图像和文本。PIDMs是科学机器学习的一个里程碑，提供了一个框架，将生成模型的力量与物理信息神经网络的可靠性结合起来。这种融合为科学发现解锁了新的可能性，从模拟复杂的物理现象到优化机械设计。

PIDMs之所以突出，是因为它们将物理约束直接嵌入到扩散模型的训练过程中。这些模型不是在事后简单地添加修正，而是从一开始就整合了如偏微分方程（PDEs）等控制方程，确保每个样本都遵循物理定律。

其他需要考虑的因素：
➡️ 训练中嵌入物理
传统的生成模型通常生成需要事后修正以满足物理约束的输出。PIDMs改变了这一局面，直接在训练中纳入等式、不等式和优化约束。这种方法确保了样本在物理上的一致性和统计上的准确性。
➡️ 提高准确性
结果不言自明：与最先进的物理引导方法相比，PIDMs在PDE残差误差上实现了高达两个数量级的减少。
➡️ 可扩展且易于实施
尽管在训练中嵌入物理增加了复杂性，但PIDMs被设计为能够无缝集成到现有的扩散架构中。它们保留了标准模型的推理速度，使其适用于现实世界的应用。

Having Beer After Prayer? Measuring Cultural Bias in Language Models (March)

🥇 ACL 2024最佳社会影响论文
💥 引用次数适中
测量大型语言模型中的文化偏见，突出了多语言和单语言语言模型中常常被忽视的文化偏见。它对这些模型提出了令人清醒的批评，即使是那些为特定文化设计的模型，也倾向于偏爱多数中心内容而非少数特定背景。这篇论文将文化敏感性置于AI研究的前沿。随着LMs越来越多地融入全球应用，确保它们尊重并公平地代表所有文化至关重要。这些模型中的偏见可能会延续刻板印象，疏远用户，并伤害社会，特别是在非西方地区。

这篇论文目前有78次引用

这篇论文不仅仅是指责，它还提供了量化和解决LLMs中文化偏见的工具和见解。它引入了CAMeL，这是一个旨在评估跨文化公平性的新数据集，为创建具有文化敏感性的AI系统奠定了基础。

其他需要考虑的因素：
➡️ 评估文化偏见的新数据集
CAMeL是第一个明确设计用来测量文化偏见的数据集，包含了来自阿拉伯和西方背景的超过20000个文化相关实体。它按八个类别（如食物、名字和宗教场所）组织，为评估LM公平性提供了强大的基准。

Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction (April)

🥇 NeurIPS 2024最佳主赛道论文
💥 引用次数适中
该论文挑战了扩散模型在视觉生成任务中的主导地位，并介绍了视觉自回归（VAR）建模——一种模仿人类感知和创建图像的方式的方法：从粗略结构到细节。VAR通过从LLMs借用自回归原理并将其应用于图像生成，弥合了计算机视觉和自然语言处理之间的差距。这种跨领域的灵感是我们朝着创建真正多模态AI系统迈出的重要一步，这些系统在语言和视觉任务上都表现出色。

这篇论文目前有123次引用

VAR在图像生成方面超越了扩散模型，后者曾是图像生成的黄金标准，使其成为一个更高效、更可扩展的替代方案。它采用了下一尺度预测方法。VAR从根本上改变了自回归（AR）模型生成图像的方式，这种创新的层次化策略使VAR在质量、效率和可扩展性方面超越了基于扩散的模型，如Stable Diffusion。

其他需要考虑的因素：
➡️ 革命性的生成框架
传统的AR模型使用光栅扫描“下一个token预测”方法，这种方法缓慢且效率低下。VAR通过层次化地通过下一尺度预测来建模图像，改变了这一局面。从低分辨率的全局结构开始，它逐步添加更精细的细节，从而以闪电般的速度生成高质量图像。
➡️ 创纪录的性能
VAR在图像质量、推理速度（快20倍）和可扩展性方面超越了领先的扩散变换器（例如，DiT）。
➡️ 零样本泛化
像大型语言模型一样，VAR展现出强大的零样本能力。它可以处理图像修复、外画和编辑等任务，无需额外的微调，展示了出色的适应性。

The PRISM Alignment Dataset (April)

🥇 NeurIPS 2024最佳基准和数据集论文
“PRISM对齐数据集”论文承担了AI中最复杂和有争议的挑战之一：对齐。通过从全球多样化的参与者群体中收集反馈，PRISM重新定义了我们如何思考在多文化和主观背景下将大型语言模型（LLMs）与人类价值观对齐。PRISM解决的是AI中最关键和最未被充分研究的方面之一，即如何以公平、具有文化意识和可扩展的方式将系统与人类价值观对齐。当前的对齐方法通常依赖于狭窄的数据集并过度简化人类偏好的多样性。PRISM打破了这种模式，通过拥抱复杂性并强调个性化和集体对齐的需求。

PRISM不仅仅扩展了围绕AI对齐的对话，它完全重构了这一对话。它强调参与式、代表性和个体化的反馈，这个数据集摒弃了二元的、一刀切的方法。相反，它承认人类价值观的混乱、多元现实，并将这种复杂性作为一种力量。

其他需要考虑的因素：
➡️ 参与式、代表性和个体化的反馈
PRISM从75个国家的1500名参与者那里收集数据，创建了一个人工智能对齐领域中人口统计学上最多样化的数据集之一。反馈与详细的参与者档案相关联，允许研究人员探索个人偏好和偏见如何影响与LLMs的互动。

VideoPoet: A Large Language Model for Zero-Shot Video Generation (June)

🥇 ICML 2024最佳论文 💥 引用次数适中
“VideoPoet：用于零样本视频生成的大型语言模型”这一论文是视频生成与大型语言模型（LLMs）交叉领域的一个引人入胜的发展。这项工作重新想象了我们如何创建和与视频互动，利用LLM架构在零样本和多模态视频生成任务中取得了最先进的成果。VideoPoet扩展了LLM应用的视野，证明了这些架构不仅限于文本，还可以将其可扩展性和多功能性扩展到视频生成。其统一的多模态框架为多媒体内容创作的进步奠定了基础。

这篇论文目前有164次引用

VideoPoet标志着视频生成的范式转变，从基于扩散的方法转向基于LLM的框架。通过在运动真实性、时间一致性和运动趣味性方面超越它们，VideoPoet将LLMs定位为生成性视频建模的新前沿。它还展示了LLMs的可扩展性和灵活性如何可以扩展到多模态任务，为高质量、时间一致的视频生成设定了新的基准。

其他需要考虑的因素：
➡️ 基于LLM的多模态框架
VideoPoet采用仅解码器的LLM架构，将文本、图像、视频和音频等多种模态整合到一个统一的token词汇表中。这种创新的方法允许模型在单一框架内执行各种生成任务，减少了对特定任务架构的需求。
➡️ 零样本多功能性
VideoPoet在零样本视频生成和编辑方面表现出色，能够处理分布外的输入，并将图像到视频翻译与视频风格化等任务串联起来。其适应性突出了LLM框架在创意和专业应用中的强大功能。

Kolmogorov Arnold Networks (KANs) (June)

💥 引用次数高
这篇论文的引用次数非常高，目前已有502次引用
“柯尔莫哥洛夫-阿诺德网络（KANs）”受到柯尔莫哥洛夫-阿诺德表示定理的启发，KANs提出了对占主导地位的多层感知器（MLPs）的一种激进替代方案。通过用可学习的样条代替固定的激活函数，KANs提供了一种新的架构，结合了可解释性、可扩展性和科学严谨性。

KANs重新想象了神经网络的工作方式，从以节点为中心的激活转变为基于边缘的学习。这一简单但深刻的变化消除了对线性权重的依赖，使KANs在科学应用中更加准确和可解释，特别是在理解与结果同等重要的领域。我喜欢它在可解释人工智能（XAI）领域的应用。

其他需要考虑的因素：
➡️ 可学习的基于边缘的激活函数
与MLPs中激活固定在节点上不同，KANs在边缘上使用可学习的一元样条。这种结构变化导致了根本不同的计算方式，使KANs在函数逼近和偏微分方程（PDE）求解等任务中实现了更高的准确性。 ➡️ XAI
它们的架构易于可视化和直观的人类互动，使其成为深度学习中可解释人工智能的理想选择。

Qwen2 Technical Report (July)

💥 引用次数高
这篇论文的引用次数非常高，目前已有667次引用
7月标志着强大的开源小型语言模型（SLMs）演变的一个关键时刻，随着“Qwen2技术报告”的发布。Qwen2系列引入了一系列旨在与像GPT-4和Claude-3这样的专有巨头竞争的语言和多模态模型。参数数量从5亿到令人震惊的720亿不等，Qwen2将尖端性能与开放获取结合起来，为AI社区的创新设定了新的基准。

Qwen2证明了开源模型可以与最好的专有系统竞争，同时促进了可访问性和包容性。它赋予研究人员、初创企业和企业利用高性能Gen AI的权力，而无需面对封闭生态系统的障碍。模型的多语言能力和长上下文处理使其成为教育、法律和医疗保健等行业理想的，这些行业全球覆盖和深入上下文理解至关重要。

其他需要考虑的因素：
➡️ 全面的模型套件
包括密集模型（0.5B、1.5B、7B和72B参数）和一个拥有570亿参数（每个token激活14B）的专家混合（MoE）模型。这一多样化阵容满足了从轻量级部署到高性能任务的广泛用例。

The Llama 3 Herd of Models (July)

💥 引用次数高
这篇论文的引用次数非常高，目前已有1749次引用
“Llama 3模型群”这篇论文介绍了下一代多语言基础模型。其旗舰模型拥有4050亿参数和高达128K token的上下文窗口，Llama 3在规模、多功能性和性能方面设定了新的标准。仅在几个月前发布，它已经获得了令人震惊的1749次引用，巩固了其作为2024年AI进步的基石的地位。

该模型的开放获取和安全优先设计反映了一种对负责任创新的承诺，确保先进的AI技术既可获取又符合道德。无论是促进多语言互动、分析长篇文档还是开创多模态任务，Llama 3都代表了下一波AI应用所需的多功能性和可扩展性。

其他需要考虑的因素：
➡️ 大规模训练创新
在15.6万亿个token上进行训练，代表了比Llama 2高出50倍的训练FLOPs，Llama 3利用了4D并行和内存高效注意力机制等先进技术来优化训练效率。基础设施创新包括16K GPU、240PB存储系统和网络突破，以支持这种前所未有的规模的训练。
➡️ 增强的安全措施
纳入了直接偏好优化（DPO）以更好地与人类偏好对齐，以及Llama Guard 3用于安全的输入和输出处理。

Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators (November)

🥇 NeurIPS 2024最佳主赛道论文
11月带来了计算效率的巨大飞跃，随着“随机泰勒导数估计器”的引入。这种方法解决了科学计算中最持久的瓶颈之一，即高维和高阶微分算子的指数级扩展。有了STDE，曾经被认为在计算上禁止的任务，如求解百万维PDEs，在单个GPU上几分钟内就能实现。

其对物理信息神经网络（PINNs）的影响是改变游戏规则的。有了STDE，PINNs现在可以解决前所未有的规模和复杂性的问题，显著扩大了它们在工程和科学应用中的实际用途。其效率提升使研究人员能够解决以前不可能的问题，从而在基于物理的建模、机器学习和金融模拟方面取得突破。

其他需要考虑的因素：
➡️ 革命性的泰勒模式AD整合
第一个将泰勒模式AD推广到任意高阶导数的方法，实现了前所未有的速度和内存效率。
➡️ 无与伦比的性能提升
与基线方法相比，实现了1000倍的计算加速和30倍的内存减少。在单个GPU上不到8分钟内求解100万维PDEs，为大规模问题求解设定了新的标准。

DeepSeek V3 technical report (December)

“DeepSeek-V3”，这个专家混合（MoE）语言模型结合了前所未有的规模、效率和性能，同时明确关注成本效益的训练。拥有6710亿参数，其中每个token激活370亿，DeepSeek-V3证明了无需破产就能实现最先进的成果。

该模型在知识、推理、编码和扩展上下文任务中的多功能性突出了其对多样化现实世界应用的适应性。此外，其在内存优化和GPU通信方面的效率创新有助于推进更广泛的AI基础设施。在我看来，“DeepSeek-V3”为大型语言模型设定了新的基准，证明了规模和效率可以在不牺牲性能的情况下共存。

其他需要考虑的因素：
➡️ 不妥协的经济训练
以仅557.6万美元的训练成本实现了最先进的基准，需要278.8万个GPU小时。引入了FP8混合精度训练，这减少了内存使用并加速了大规模模型的计算。
➡️ 创新的训练技术
DualPipe算法最小化了流水线通信开销，实现了计算和通信之间的近乎完全重叠。此外，还纳入了多token预测（MTP）目标，增强了训练稳定性并启用了推测性解码，以实现更快的预测。

大型概念模型（12月）

我将这篇论文列入列表，因为我相信LCM可能是一种在未来能够超越基于变换器的LLMs的架构，这是一个相对较新的概念，在理论上看起来非常有希望。
以“大型概念模型（LCM）”结束2024年，它介绍了一种具有远见的语言建模方法，挑战了基于token的架构（如变换器）的主导地位。通过在句子表示空间中操作，LCM为抽象的、与语言无关的和与模态无关的推理铺平了道路，为未来可能超越基于变换器的LLMs奠定了基础。

LCM从根本上重新思考了语言模型的工作方式，从基于token的处理转向概念推理。其对抽象和层次结构的强调也为需要更高层次推理的任务奠定了基础，例如法律分析、技术写作和复杂的多语言或多模态合成。如果进一步完善，LCM可能会作为一种变革性架构出现，能够超越传统的基于token的LLMs。

其他需要考虑的因素：
➡️ 从token到概念
LCM在SONAR嵌入空间中操作，将句子编码和处理为抽象的“概念”。这种抽象使得层次化推理成为可能，使LCM更适合于需要长篇连贯性和高层次理解的任务。
➡️ 普遍的、与语言无关的表示
LCM支持200多种语言和多种模态，实现了无需针对特定任务进行微调的无与伦比的零样本泛化。
共享的嵌入空间促进了跨语言和模态的知识无缝转移。
➡️ 性能和可扩展性
在70亿参数模型上用2.7万亿个token进行训练，展示了在总结和总结扩展方面的强大结果，超过了同样大小的LLMs在连贯性和可读性方面的表现。

虽然聚光灯照在了主要列表中的论文上，但还有几项其他开创性的作品因其对AI的创新贡献而值得认可。我诚实地有一个很长的列表（原因很明显:D），但我将在这里分享那些也是出色的研究工作。这些荣誉提名涵盖了各种领域和挑战，展示了2024年AI研究的丰富性。