c_cpp_csharp的专栏

基础设施即代码 （IaC） 是一种革命性的方法，在行业中获得了极大的重视。IaC 通过实现自动化、跨环境一致性、可重复性、版本控制、减少错误和增强可扩展性，使用机器可读代码管理和配置 IT 基础设施。然而，IaC 编排通常是一项艰苦的工作，需要专业技能和大量的手动工作。在目前的行业条件下，IaC 的自动化是必要的，在本次调查中，我们研究了应用大型语言模型 （LLM） 来解决这个问题的可行性。LLM 是基于神经网络的大型模型，已展示出强大的语言处理能力，并表明能够在广泛的范围内遵循一系列指令。

多模态大型语言模型 （MLLM） 通过集成和处理来自多种模态（包括文本、视觉、音频、视频和 3D 环境）的数据来增强标准大型语言模型的功能。数据在这些模型的开发和改进中起着关键作用。在这项调查中，我们从以数据为中心的角度全面回顾了有关 MLLM 的文献。具体来说，我们探索了在 MLLM 的预训练和适应阶段准备多模态数据的方法。此外，我们还分析了数据集的评估方法，并回顾了评估 MLLM 的基准。我们的调查还概述了未来潜在的研究方向。

随着 Web 上的信息爆炸式增长，搜索和推荐是满足用户信息需求的基础设施。作为同一枚硬币的两面，两者都围绕着同一个核心研究问题，将查询与文档匹配，或将用户与项目匹配。近几十年来，搜索和推荐经历了同步的技术范式转变，包括基于机器学习和基于深度学习的范式。近年来，超智能生成式大语言模型在搜索和推荐方面引发了一种新的范式，即生成式搜索（检索）和推荐，旨在以生成方式解决匹配问题。在本文中，我们对信息系统中新兴的范式进行了全面调查，并从统一的角度总结了生成式搜索和推荐的发展。

大型语言模型 （LLM） 越来越多地用于教育环境，为学生和教师提供个性化支持。基于 LLM 的应用程序理解和生成自然语言的空前能力可能会提高教学效率和学习成果，但 LLM 与教育技术的整合再次引发了对算法偏见的担忧，这可能会加剧教育不平等。在这篇综述中，基于先前绘制传统机器学习生命周期的工作，我们提供了 LLM 生命周期的整体地图，从 LLM 的初始开发到为教育环境中的各种应用定制预训练模型。我们解释了LLM生命周期中的每一个步骤，并确定了在教育背景下可能出现的潜在偏见来源。

Transformer 架构有助于管理自然语言处理的长期依赖关系，这是该领域的最新变化之一。这些架构是创新、尖端的大型语言模型 （llm） 的基础，这些模型在多个领域和工业领域引起了巨大的轰动，其中教育领域尤为突出。因此，这些基于生成式人工智能的解决方案将技术的变化和教育方法和内容以及网络基础设施的演变引导到高质量的学习。鉴于 LLMS 的普及，本综述旨在全面概述那些专门为生成和评估教育材料而设计的解决方案，这些解决方案让学生和教师参与他们的设计或实验计划。

本研究论文讨论了过去十年在生物医学和大型语言模型方面取得的进展。为了了解这些进步是如何相互携手的，本文还讨论了自然语言处理技术和工具与生物医学的整合。最后，该论文的目标是通过为前两种语言模型引入新的问题和提示列表，来扩展去年（2023 年）进行的一项调查。通过这项调查，本文试图量化 LLM 推理能力的改进，以及普通用户对这些改进的感受程度。此外，本文旨在通过促使 LLM 深入回答开放式问题来扩展对生物文献检索的研究。

在广泛的 Web 语料库上预训练的大型语言模型在各种下游任务中表现出卓越的性能。然而，人们越来越担心数据污染，其中评估数据集可能包含在预训练语料库中，从而夸大了模型性能。去污，即检测和删除此类数据的过程，是一种潜在的解决方案;然而，这些污染物可能来自测试集的更改版本，在净化过程中逃避检测。不同类型的污染如何影响语言模型在下游任务上的性能尚不完全清楚。我们提出了一个分类法，对 LLM 在预训练阶段遇到的各种类型的污染进行分类，并确定哪些类型构成最高风险。

低秩自适应（LoRA）是一种性能最佳的参数高效微调范式，它使用可插拔的低秩矩阵更新密集的神经网络层。此外，它在跨任务泛化和隐私保护方面具有显著优势。因此，LoRA最近受到了广泛关注，相关文献的数量呈指数级增长。有必要对LoRA的当前进展进行全面概述。本次调查从以下角度对进展进行了分类和回顾：（1）改善LoRA在下游任务中表现的下游适应改进变体；（2） 混合多个LoRA插件以实现跨任务泛化的跨任务泛化方法；（3） 提高LoRA计算效率的效率改进方法；（4） 在联邦学习中使用LoRA的数据隐私保护方法；

大型语言模型 （LLM） 在许多不同的自然语言处理 （NLP） 任务中表现出卓越的性能。提示工程在增加 LLM 的现有功能以在各种 NLP 任务上实现显着的性能提升方面发挥着关键作用。提示工程需要编写称为提示的自然语言指令，以结构化的方式从 LLM 中获取知识。与以前最先进的 （SoTA） 模型不同，提示工程不需要根据给定的 NLP 任务进行广泛的参数重新训练或微调，因此仅根据 LLM 的嵌入式知识进行操作。

大型语言模型 (LLM) 弥合了人类语言理解和复杂问题解决之间的差距，在多项 NLP 任务上实现了最先进的性能，特别是在少样本和零样本设置中。尽管 LMM 的功效显而易见，但由于计算资源的限制，用户必须使用开源语言模型或将整个训练过程外包给第三方平台。然而，研究表明，语言模型容易受到潜在安全漏洞的影响，特别是在后门攻击中。后门攻击旨在通过毒害训练样本或模型权重，将目标漏洞引入到语言模型中，从而使攻击者能够通过恶意触发器操纵模型响应。

最近，大型语言模型（LLM）在各种数据挖掘任务中表现出了巨大的潜力，例如知识问答、数学推理和常识推理。然而，法学硕士在时间事件预测方面的推理能力尚未得到充分探索。为了系统地研究他们在时间事件预测方面的能力，我们对基于LLM的时间事件预测方法进行了综合评估。由于缺乏涉及图和文本数据的高质量数据集，我们首先构建一个基准数据集，命名为MidEast-TE-mini。基于该数据集，我们设计了一系列基线方法，其特点是各种输入格式和检索增强生成（RAG）模块。

互联网上可用的大量且不断增加的数据，加上手动索赔和事实验证的繁重任务，激发了人们对开发自动索赔验证系统的兴趣。1 已经提出了几种深度学习和基于变压器的模型多年来这个任务。随着大型语言模型 (LLM) 的引入及其在多个 NLP 任务中的卓越性能，我们看到基于 LLM 的声明验证方法激​​增，以及检索增强生成 (RAG) 等新颖方法的使用。在本次调查中，我们全面介绍了最近使用法学硕士的索赔验证框架。我们详细描述了这些框架中使用的声明验证管道的不同组件，包括常见的检索、提示和微调方法。

大型语言模型（LLM）经常表现出推理缺陷或产生幻觉。为了解决这些问题，人们开始发起以“自我”为前缀的研究，例如自我一致性、自我改进和自我完善。他们有一个共同点：LLM需要自我评估和更新。尽管如此，这些努力缺乏统一的总结视角，因为现有的调查主要集中在分类上。在本文中，我们总结了一个理论框架“内部一致性”，为推理缺陷和幻觉提供了解释。内部一致性是指LLM的潜在层、解码层或响应层之间基于采样方法的表达的一致性。然后，我们引入了另一个能够挖掘内部一致性的有效理论框架，称为自我反馈。

这项调查探讨了大型语言模型 （LLM） 在电子商务中的公平性，研究了它们的进展、应用和面临的挑战。LLM 已成为电子商务领域的关键，提供创新解决方案并增强客户体验。这项工作对 LLM 在电子商务中的应用和挑战进行了全面调查。本文首先介绍了在电子商务中使用 LLM 的关键原则，详细介绍了根据特定需求定制这些模型的预训练、微调和提示过程。然后，它探讨了 LLM 在电子商务中的各种应用，包括产品评论，它们综合和分析客户反馈;产品推荐，他们利用消费者数据推荐相关商品;产品信息翻译，增强全球可访问性;

大型语言模型 （LLM） 的快速发展展示了自然语言处理方面的卓越多语言能力，吸引了全球学术界和工业界的关注。为了减少潜在的歧视并提高不同语言用户组的整体可用性和可访问性，语言公平技术的发展非常重要。尽管 LLM 取得了突破，但对多语言场景的调查仍然不足，需要进行全面调查以总结最近的方法、发展、局限性和潜在解决方案。为此，我们提供了一项关于多语言场景中 LLM 利用率的多角度调查。我们首先重新思考以前和现在关于预训练语言模型的研究之间的过渡。

深度学习的最新进展彻底改变了计算病理学 (CPath) 领域，通过将基础模型 (FM) 和视觉语言模型 (VLM) 集成到病理学家的评估和决策过程中，反过来又改变了病理学家的诊断工作流程。FM 通过学习表示空间来克服 CPath 中现有深度学习方法的局限性，该表示空间可以在没有明确监督的情况下适应各种下游任务。VLM 允许将用自然语言编写的病理报告用作丰富的语义信息源，以改进现有模型并以自然语言形式生成预测。在本次调查中，对 CPath 中 FM 和 VLM 的最新创新进行了全面、系统的概述。

生成人工智能 (AI) 和大型语言模型 (LLM) 的出现标志着自然语言处理 (NLP) 的新时代，引入了前所未有的能力，正在彻底改变各个领域。本文探讨了这些尖端技术的现状，展示了它们的显着进步和广泛的应用。我们的论文有助于对生成式人工智能和LLM不断发展的领域中的技术基础、实际应用和新挑战提供全面的视角。我们认为，了解人工智能系统的生成能力和LLM的具体背景对于研究人员、从业者和政策制定者共同塑造这些技术以负责任和道德的方式融入各个领域至关重要。

图形是一种重要的数据结构，用于表示实际场景中的关系。先前的研究已经确定，图神经网络 （GNN） 在以图为中心的任务（例如链接预测和节点分类）中提供了令人印象深刻的结果。尽管取得了这些进步，但数据稀疏和泛化能力有限等挑战仍然存在。最近，大型语言模型 （LLM） 在自然语言处理中受到了关注。他们在语言理解和总结方面表现出色。将 LLM 与图学习技术集成作为提高图学习任务性能的一种方式引起了人们的兴趣。

对话系统的最新进展显著增强了各个领域的人机交互。然而，由于缺乏专门的对话数据，训练这些系统具有挑战性。传统上，对话数据集是通过众包创建的，但事实证明这种方法成本高昂、规模有限且劳动密集型。作为一种解决方案，合成对话数据的开发已经出现，它利用技术来增强现有数据集或将文本资源转换为对话格式，从而提供一种更高效和可扩展的数据集创建方法。在这项调查中，我们对多轮对话数据生成进行了系统而全面的回顾，重点关注三种类型的对话系统：开放域、任务导向和信息寻求。

作为 AI 中最先进的技术之一，检索增强生成 （RAG） 可以提供可靠和最新的外部知识，为众多任务提供巨大的便利。特别是在 AI 生成内容 （AIGC） 时代，在提供额外知识方面的强大检索能力使 RAG 能够协助现有的生成式 AI 生成高质量的输出。最近，大型语言模型 （LLM） 在语言理解和生成方面表现出革命性的能力，但仍然面临固有的限制，例如幻觉和过时的内部知识。

本调查论文深入探讨了大型语言模型 （LLM） 中符号知识蒸馏的新兴关键领域。随着生成式预训练 Transformer-3 （GPT-3） 和来自 Transformers 的双向编码器表示 （BERT） 等 LLM 在规模和复杂性上不断扩大，有效利用其广泛知识的挑战变得至关重要。本调查集中于将这些模型中包含的复杂、通常隐含的知识蒸馏成更具象征意义、更明确的形式的过程。这种转变对于提高 LLM 的可解释性、效率和适用性至关重要。

大型语言模型 （LLM） 在各个领域都展示了卓越的能力，吸引了学术界和工业界的浓厚兴趣。尽管 LLM 的性能令人印象深刻，但其庞大的规模和计算需求对实际部署构成了相当大的挑战，尤其是在资源有限的环境中。在保持其准确性的同时压缩语言模型的努力已成为研究的重点。在各种方法中，知识蒸馏已成为一种有效的技术，可以在不大幅影响性能的情况下提高推理速度。本文从方法、评价和应用三个方面进行了深入的调查，探讨了专门为 LLM 量身定制的知识提炼技术，具体来说，我们将方法分为白盒 KD 和黑盒 KD，以更好地说明它们的差异。

关系数据库中存储的数据量不断增加，导致各个部门需要高效查询和利用这些数据。但是，编写 SQL 查询需要专业知识，这对尝试访问和查询数据库的非专业用户构成了挑战。文本到 SQL 解析通过将自然语言查询转换为 SQL 查询来解决此问题，从而使非专家用户更容易访问数据库。为了利用大型语言模型 （LLM） 的最新发展，出现了一系列新方法，主要侧重于提示工程和微调。本调查全面概述了文本到 SQL 任务中的 LLM，讨论了基准数据集、提示工程、微调方法和未来的研究方向。

大型语言模型 （LLM） 在各种与代码相关的任务（称为代码 LLM）中取得了显著的进步，尤其是在使用 LLM 从自然语言描述生成源代码的代码生成方面。由于其在软件开发（例如 GitHub Copilot）中的实际意义，这个新兴领域引起了学术研究人员和行业专业人士的极大兴趣。尽管从自然语言处理 （NLP） 或软件工程 （SE） 或两者兼而有之的角度来看，人们积极探索 LLM 用于各种代码任务，但明显缺乏专门针对 LLM 用于代码生成的全面和最新的文献综述。

在快速发展的人工智能领域，GPT-3 和 GPT-4 等大型语言模型 （LLM） 正在彻底改变金融、医疗保健和法律的格局：这些领域的特点是依赖专业知识、具有挑战性的数据采集、高风险和严格的监管合规性。本调查详细探讨了 LLM 在这些高风险领域的方法、应用、挑战和前瞻性机会。我们强调了 LLM 在加强医疗保健诊断和治疗方法、创新财务分析以及完善法律解释和合规策略方面的重要作用。此外，我们批判性地审查了这些领域 LLM 应用的道德规范，指出了现有的道德问题以及尊重监管规范的透明、公平和强大的 AI 系统的需求。

自 2017 年 Transformer 架构问世以来，GPT 和 BERT 等大型语言模型 （LLM） 已经取得了长足的发展，凭借其在语言理解和生成方面的高级能力影响了各个行业。这些模型已显示出改变医疗领域的潜力，凸显了专门的评估框架以确保其有效和合乎道德的部署的必要性。这项全面的调查描述了 LLM 在医疗保健领域的广泛应用和必要评估，强调了实证验证的迫切需求，以充分利用它们在增强医疗保健结果方面的能力。

尽管在大型语言模型 （LLM） 中加速文本生成对于高效生成内容至关重要，但此过程的连续性通常会导致高推理延迟，从而给实时应用程序带来挑战。已经提出和开发了各种技术来应对这些挑战并提高效率。本文对自回归语言模型中的加速生成技术进行了全面调查，旨在了解最先进的方法及其应用。我们将这些技术分为几个关键领域：推测解码、早期退出机制和非自回归方法。我们讨论了每个类别的基本原则、优势、局限性和最新进展。通过这项调查，我们旨在提供对 LLM 技术现状的见解，并为自然语言处理这一关键领域的未来研究方向提供指导。

随着生成式人工智能 （AI），尤其是大型语言模型 （LLM），继续渗透到医疗保健领域，用人工专家评估来补充传统的自动评估仍然至关重要。理解和评估生成的文本对于确保安全性、可靠性和有效性至关重要。然而，人工评估的繁琐、耗时和非标准化性质为在实践中广泛采用 LLM 带来了重大障碍。本研究回顾了关于医疗保健领域 LLM 人类评估方法的现有文献。我们强调了对标准化和一致的人工评估方法的显着需求。

自 ChatGPT 和 GPT-4 发布以来，大型语言模型 （LLM） 和多模态大型语言模型 （MLLM） 因其在理解、推理和生成方面强大而通用的能力而受到广泛关注，从而为人工智能与医学的整合提供了新的范式。本综述全面概述了 LLM 和 MLLM 的发展背景和原则，并探讨了它们在医学中的应用场景、挑战和未来方向。具体来说，这项调查首先关注范式转变，追溯从传统模型到 LLM 和 MLLM 的演变，总结模型结构以提供详细的基础知识。

多语言大型语言模型能够使用强大的大型语言模型来处理和响应多种语言的查询，这在多语言自然语言处理任务中取得了显著的成功。尽管取得了这些突破，但仍然缺乏一项全面的调查来总结该领域的现有方法和最新发展。为此，本文对多语言大型语言模型（MLLM）文献的最新进展和新兴趋势进行了全面的回顾，并提供了一个统一的视角。本文的贡献可以概括为：（1）第一次调查：据我们所知，我们迈出了第一步，根据多语言对齐对MLLMs研究领域进行了全面的回顾；（2） 新的分类法：我们提供了一个新的统一视角来总结MLLM的当前进展；

多模态大语言模型基准调查多模态大语言模型（MLLM）由于其在视觉问答、视觉感知、理解和推理等各种应用中的出色表现，在学术界和工业界越来越受欢迎。在过去的几年里，人们付出了巨大的努力来从多个角度审视 MLLM。本文对 MLLM 的 200 个基准和评估进行了全面回顾，重点关注 (1) 感知和理解、(2) 认知和推理、(3) 特定领域、(4) 关键能力和 (5) 其他模式。最后，我们讨论了当前 MLLM 评估方法的局限性，并探讨了有前景的未来方向。

本文对大型语言模型（LLM）在战略推理中的现状和机遇进行了全面的调查，这是一种复杂的推理形式，需要理解和预测多智能体环境中的对手行为，同时相应地调整策略。战略推理的特点是它关注多主体之间互动的动态性和不确定性，理解环境和预测他人的行为至关重要。我们探索了与LLM战略推理相关的范围、应用、方法和评估指标，强调了该领域的蓬勃发展以及提高其决策表现的跨学科方法。它旨在系统化和澄清关于这一主题的分散文献，提供系统综述，强调战略推理作为一种关键认知能力的重要性，并为未来的研究方向和潜在的改进提供见解。

提示已成为使大型语言模型（LLM）适应特定自然语言处理任务的主流范式。虽然这种方法为LLM的上下文学习打开了大门，但它带来了模型推理的额外计算负担和手动设计提示的人工工作，特别是在使用冗长复杂的提示来指导和控制LLM行为时。因此，LLM领域出现了高效提示方法的显著激增。本文对这些方法进行了全面的概述。从较高的层次上讲，高效的提示方法大致可分为两种：高效计算提示和高效设计提示。前者涉及各种压缩提示的方法，后者采用自动优化提示的技术。我们介绍了激励的基本概念，回顾了高效激励的进展，并强调了未来的研究方向。

随着人工智能（AI）和大型语言模型（LLMs）的进步，法律领域的自然语言处理任务领域正在发生深刻的变革。LLM的能力在法律领域越来越显示出独特的作用，既带来了独特的好处，也带来了各种挑战。这项调查深入研究了LLM和法律体系之间的协同作用，例如它们在法律文本理解、案例检索和分析等任务中的应用。此外，这项调查突出了LLM在法律领域面临的主要挑战，包括偏见、可解释性和伦理考虑，以及研究人员如何解决这些问题。该调查展示了为各种法律体系量身定制的微调LLM的最新进展，以及可用于微调各种语言LLM的法律数据集。

图在表示社交网络、知识图和分子发现等各个领域的复杂关系方面发挥着重要作用。随着深度学习的出现，图神经网络（GNN）已经成为图机器学习（Graph ML）的基石，促进了图结构的表示和处理。最近，LLM在语言任务中表现出了前所未有的能力，并被广泛应用于计算机视觉和推荐系统等各种应用中。这一显著的成功也引起了将LLM应用于图域的兴趣。人们越来越努力地探索LLM在提高Graph ML的泛化能力、可转移性和少镜头学习能力方面的潜力。

图是一种基本的数据模型，用于表示社会和自然中的各种实体及其复杂关系，如社交网络、交通网络、金融网络和生物医学系统。最近，大型语言模型（LLM）展示了强大的泛化能力，可以处理各种NLP和多模态任务，以回答用户的任意问题和特定领域的内容生成。与图学习模型相比，LLM在解决泛化图任务的挑战方面具有优越的优势，因为它消除了训练图学习模型的需要，降低了手动注释的成本。在这项调查中，我们对现有的关于图形数据的LLM研究进行了全面的调查，总结了先进LLM模型解决的相关图形分析任务，并指出了现有的剩余挑战和未来的方向。

大型语言模型（LLM）在各个领域和智能代理应用中取得了显著进展。然而，目前从人工或外部模型监督中学习的LLM成本很高，随着任务复杂性和多样性的增加，可能会面临性能上限。为了解决这个问题，使LLM能够自主获取、改进和学习模型本身产生的经验的自我进化方法正在迅速发展。这种受人类体验式学习过程启发的新训练范式提供了将LLM扩展到超级智能的潜力。在这项工作中，我们对LLM中的自我进化方法进行了全面的调查。

大型语言模型（LLMs）因其在各种任务中的出色表现而引起了广泛关注。然而，LLM推理的大量计算和内存要求给资源受限场景中的部署带来了挑战。该领域的工作一直致力于开发旨在提高LLM推理效率的技术。本文对现有关于有效LLM推理的文献进行了全面的综述。我们首先分析了LLM推理效率低下的主要原因，即模型大小大、二次复杂度注意操作和自回归解码方法。然后，我们引入了一个全面的分类法，将当前的文献分为数据级、模型级和系统级优化。此外，本文还对关键子领域内的代表性方法进行了比较实验，以提供定量见解。

组合泛化是指模型能够从只看到基元扩展到复杂的、以前看不见的实体组合类型。这种类型的泛化与面向任务的对话、文本到SQL解析和信息检索等应用程序的语义解析社区特别相关，因为它们可能具有无限的复杂性。尽管大型语言模型（LLM）在广泛的NLP任务中取得了成功，但解锁完美的组合泛化仍然是最后几个未解决的前沿领域之一。过去几年，人们对探索LLM在语义解析任务中的组合泛化能力的局限性、改进方法和评估指标的研究兴趣激增。

本文是LLM系列文章，针对《Model Merging in LLMs, MLLMs, and Beyond: Methods,Theories, Applications and Opportunities》的翻译。