计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-09-30

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-09-30

---

目录

---

1. Proof Automation with Large Language Models

M Lu, B Delaware, T Zhang - arXiv preprint arXiv:2409.14274, 2024

使用大语言模型做自动化证明

概览：

本文研究了如何利用大型语言模型（LLMs）自动化地生成形式化证明。研究的主要成果是提出了一种名为PALM的新方法，该方法结合了LLMs和符号方法，通过生成-修复流程来自动化证明过程。PALM在包含超过10K定理的大型数据集上进行了评估，结果表明PALM在证明定理方面显著优于其他最先进的方法，成功证明了76.6%至180.4%更多的定理。此外，PALM证明了1270个超出现有方法能力的定理，并展示了其在不同LLMs上的泛化能力。

论文研究背景：

随着软件系统复杂性的增加，确保软件正确性变得至关重要。交互式定理证明器（如Coq、Isabelle和Lean）提供了一种强大的工具，用于形式化地保证软件的正确性。然而，使用这些工具需要大量的手动努力和专业知识。虽然LLMs已显示出在自动生成自然语言非形式化证明方面的潜力，但在生成交互式定理证明器中的正式证明方面效果不佳。

技术挑战：

LLMs在生成正式证明时面临挑战，包括正确识别证明的高层结构，但难以正确处理低层细节。此外，LLMs生成的证明脚本经常因为细节错误而被拒绝。

如何破局：

针对这些技术挑战，PALM方法首先使用LLMs生成初始证明，然后利用针对性的符号方法迭代修复低层问题。PALM依赖于四种修复机制，针对在我们的形式研究中识别的常见错误类型。如果修复机制失败，PALM使用回溯过程重新生成先前的证明步骤，以尝试修复错误。

技术应用：

PALM在CoqGym数据集上进行了广泛的评估，该数据集包含来自27个开源Coq项目的13,137个定理。实验结果表明，PALM在证明定理方面显著优于现有的方法，并且可以证明更复杂的定理。PALM的潜在应用包括辅助软件开发、操作系统、分布式系统和其他需要形式化验证的领域。

2. Investigating Layer Importance in Large Language Models

Y Zhang, Y Dong, K Kawaguchi - arXiv preprint arXiv:2409.14381, 2024

https://arxiv.org/pdf/2409.14381
探究大型语言模型中各层的重要性

摘要：

本研究旨在提高我们对大型语言模型（LLMs）的理解，特别是通过调查LLMs中各个层的重要性。我们提出了一种高效的抽样方法，使用Shapley值（一种在特征归因和数据评估中广泛使用的解释框架）来评估层的重要性。此外，我们进行了层消融实验，以评估排除特定层对性能的影响。研究发现某些早期层（称为基石层）对模型性能有显著贡献，移除其中一个基石层可能导致模型性能大幅下降，甚至降至随机猜测水平。相反，移除非基石层通常只会导致边缘性能变化。

研究背景：

大型语言模型（LLMs）在文本生成、翻译和理解任务上展现了前所未有的能力。然而，LLMs的不透明性阻碍了它们在安全关键场景中的部署，并限制了更好模型的发展。

问题与挑战：

尽管LLMs取得了成功，但它们仍存在诸如幻觉、偏见和不稳定的推理能力等问题。当神经网络出现错误或表现不佳时，确定模型中负责这些问题的具体部分是非常有价值的。因此，理解神经网络的内部工作机制和识别各个组成部分的作用是解决与LLMs相关挑战的关键。

如何解决：

我们通过将Shapley值框架扩展到LLMs的层，并采用高效的抽样方法来估计层的重要性。此外，我们还进行了层消融实验来观察特定层对性能的影响。

创新点：

1. 提出了一种基于LLM层的接近度的高效抽样方法来估计层的Shapley值。
2. 通过层Shapley值与层消融相结合，使用机制解释视角补充了传统的模型解释方法。
3. 在LLMs中识别出基石层，这些层在许多任务中都有显著的贡献，并且其缺失会导致模型性能的崩溃。

算法模型：

• Shapley值：用于量化每个层对整体模型性能的贡献。
• 层消融实验：通过选择性地移除模型中的一个目标层，并观察对各种任务性能的影响。
  

实验效果：

• Shapley值结果：显示了几个层（通常是早期层）在所有任务中对模型性能有显著贡献。
• 层消融结果：移除一个基石层会导致模型性能立即下降到随机猜测水平，而移除其他层只会导致微小的性能下降。
• 重要数据与结论：基石层通常位于模型的开始部分，而移除这些层通常会导致模型性能大幅下降。
  

推荐阅读指数：

8/10

推荐理由：

这篇论文为理解大型语言模型中不同层的作用提供了新的视角，特别是通过引入Shapley值和层消融实验来揭示基石层的重要性。这对于希望优化LLMs架构和提高模型解释能力的研究人员来说是非常有价值的。

3. The Impact of Large Language Models in Academia: from Writing to Speaking

M Geng, C Chen, Y Wu, D Chen, Y Wan, P Zhou - arXiv preprint arXiv:2409.13686, 2024
https://arxiv.org/pdf/2409.13686

文章标题翻译：

大型语言模型在学术界的影响：从写作到演讲

摘要：

大型语言模型（LLMs）正在对人类社会产生日益增长的影响，特别是在文本信息方面。基于来自机器学习会议的30000多篇论文和1000多个演讲，我们调查并比较了写作和演讲中使用的词汇，这是首次大规模研究LLMs如何影响同一组人的两种主要语言交流和表达方式。我们的实证结果表明，诸如“significant”这样的LLM风格词汇在摘要和口头演讲中的使用频率更高。对口语的影响开始显现，并可能在未来增长，这提醒我们要注意LLMs对人类社会的潜在影响和连锁效应。

研究背景：

LLMs的快速发展和普及使越来越多的研究者关注到LLMs对社会的影响。本文聚焦于LLMs在学术界的影响，特别是在写作和演讲方面。

问题与挑战：

尽管LLMs在学术写作中使用和影响力的快速增长已被证实，但很少有研究探讨LLMs在写作之外的影响。此外，对于写作和演讲如何受到影响的相似性和差异性，尤其是对于同一群人，尚未有研究进行探索。

如何解决：

通过分析最近机器学习会议的论文和演讲，我们试图填补这一空白。我们还希望引起对LLMs潜在影响的关注，即那些没有直接使用LLMs生成内容但通过接触此类内容而受到影响的人。

创新点：

• 首次对LLMs对同一组人在写作和演讲中的影响进行了量化估计。
• 通过比较不同会议的论文和演讲中的词汇使用，揭示了LLMs对学术写作和口语的潜在影响。

算法模型：

• 异常检测：通过构建控制组来分析词汇频率的变化，以确定目标词汇频率的变化是否异常。
• LLM模拟和影响估计：通过比较LLM处理前后的文本，对LLM的影响进行可靠估计。

实验效果：

• 词汇频率分析：发现某些词汇在2022年后的学术会议论文摘要和演讲中的使用频率显著增加。
• 频率比分布：通过与控制组比较，发现LLM风格词汇的使用频率远高于平均水平。
• LLM模拟：通过GPT-3.5处理后的摘要中，这些词汇的使用频率显著增加。
• LLM影响估计：2024年会议摘要中的LLM影响显著增加，演讲中的影响虽然增加但不如摘要显著。
  
  

重要数据与结论：

• LLMs已经开始在AI领域引发范式革命，改变了学术界的写作风格。
• 尽管LLMs在机器学习会议演讲中的痕迹尚处于初期阶段，但在学术写作中的影响已经非常明显，并可能在未来变得更加深刻。

推荐阅读指数：

7/10

推荐理由：

这篇论文提供了对LLMs在学术界写作和演讲中影响的深入分析，对于理解LLMs如何改变人类的交流方式具有重要意义。

4. Are Large Language Models Good Essay Graders?

A Kundu, D Barbosa - arXiv preprint arXiv:2409.13120, 2024
https://arxiv.org/pdf/2409.13120
大型语言模型是否是优秀的作文评分员？

摘要：

本文评估了大型语言模型（LLMs）在评估文章质量方面的有效性，特别关注它们与人工评分的一致性。具体来说，我们评估了 ChatGPT 和 Llama 在自动作文评分（AES）任务中的表现，这是自然语言处理（NLP）在教育领域的一项关键应用。我们考虑了零样本和少样本学习以及不同的提示方法。我们使用 ASAP 数据集，一个著名的 AES 任务基准，来比较 LLMs 提供的数值分数与人工评分员提供的分数。我们的研究表明，与人工评分员相比，LLMs 通常给出较低的分数，并且这些分数与人工评分的一致性不高。特别是，ChatGPT 倾向于比 Llama 更苛刻，与人工评估的一致性更差。我们还尝试了以前 AES 方法中常用的一些文章特征，包括长度、连接词和过渡词的使用，以及可读性指标，包括拼写和语法错误的数量。我们发现，通常这些特征与人工或 LLMs 分数的相关性都不强。我们指出，其中一些特征与评分标准密切相关，包括 ASAP 数据集中的标准，这表明人工评分员在评分时经常忽略了评分标准的某些方面。实际上，我们观察到，一般来说，无论拼写和语法错误如何，较长的文章使用更多的连接词往往会获得更高的分数。另一方面，两种 LLMs 不仅能够可靠地检测到拼写和语法错误，而且在计算分数时似乎也会考虑这些错误，这进一步使它们与人工评分拉开了距离。最后，我们报告了 Llama-3 的结果，总体上表现更好，这是意料之中的。总体而言，虽然 LLMs 似乎不是人工评分的合适替代品，但我们的结果对于它们未来作为辅助人类评分书面文章的工具是有些鼓舞人心的。

研究背景：

由学生评估组成的论文写作在教育中起着关键作用，它为洞察学生的文本理解、批判性思维和沟通技能提供了见解。写作好的论文要求学生清晰、连贯地表达他们的想法，展示他们对主题的理解以及构建逻辑论证的能力。传统的论文评分大多由人工评分员完成，但这种方法在现代教育环境中面临挑战，尤其是在远程教育中，远程教育促进了学习的民主化。此外，全球教师短缺是一个真实且日益严重的问题。

问题与挑战：

人工评估耗时且费力，可能导致评分员疲劳和不一致性。人们越来越关注如何有效地自动化论文评分过程，以减轻教育者的负担，并提供更一致、高效的评估。

如何解决：

研究者们探索了使用大型语言模型（LLMs）作为自动作文评分（AES）工具的可能性。这些模型在处理和理解人类语言方面表现出色，能够在没有明确训练的情况下完成各种语言任务。

创新点：

• 直接比较了 LLMs 在 AES 任务中的表现与人工评分员的评分，特别是在教育领域的应用。
• 考虑了零样本和少样本学习，以及不同的提示方法，来评估 LLMs 在 AES 任务中的性能。
• 分析了 LLMs 分数与多种文章特征之间的相关性，包括文章长度、连接词使用、可读性指标和语言错误。

算法模型：

• LLMs：评估了两个流行的 LLMs，ChatGPT 和 Llama，作为自动作文评分工具。
• ASAP 数据集：使用 ASAP 数据集，一个著名的 AES 任务基准，来比较 LLMs 提供的数值分数与人工评分员提供的分数。

实验效果：

• LLMs 通常给出比人工评分员更低的分数，并且这些分数与人工评分的相关性不强。
• ChatGPT 比 Llama 更苛刻，与人工评估的一致性更差。
• LLMs 能够可靠地检测到拼写和语法错误，并且在计算分数时考虑这些错误。
• Llama-3 的结果总体上表现更好。

重要数据与结论：

• LLMs 的分数与人工评分的相关性不强，表明它们在评估作文质量时可能无法完全替代人工评分员。
• LLMs 在检测语言错误方面表现出色，但它们在评估文章的逻辑和论证质量方面可能不如人工评分员。

推荐阅读指数：

7/10

推荐理由：

这篇文章为理解大型语言模型在教育评估领域的应用提供了有价值的见解，尤其是在自动作文评分任务中。它揭示了 LLMs 在评分一致性和准确性方面的潜力和局限性。

5. Past Meets Present: Creating Historical Analogy with Large Language Models

N Li, S Yuan, J Chen, J Liang, F Wei, Z Liang, D Yang… - arXiv preprint arXiv …, 2024

过去与现在相遇：利用大型语言模型创造历史类比

摘要

本文探讨了历史类比的获取任务，即寻找与给定事件相似的历史事件。研究者们基于不同的大型语言模型（LLMs），探索了检索和生成方法来获取历史类比，并提出了一种自我反思方法来减少LLMs生成历史类比时的幻觉和刻板印象。通过人工评估和特别设计的自动多维评估，研究发现LLMs在历史类比方面具有很好的潜力，并且可以通过使用自我反思方法进一步提高模型性能。

研究背景

历史类比是一种重要的能力，它通过比较已知的过去事件和当代不熟悉的事件来帮助人们做决策和理解世界。然而，人们发现找到合适的历史类比是有难度的，以往的AI研究也忽略了这一点。

问题与挑战

• 如何自动生成具有历史意义的类比。
• 如何确保生成的历史类比既准确又具有启发性。
• 如何减少大型语言模型在生成历史类比时可能出现的错误信息和刻板印象。

如何解决

研究者们提出了基于LLMs的两种主要方法：数据集检索方法和自由生成方法。此外，还引入了自我反思框架，包括候选生成器和答案反思器，以迭代过程生成历史类比。

创新点

• 提出了历史类比获取任务，并基于LLMs探索了检索和生成方法。
• 开发了一种新的自动多维评估指标，从认知角度评估历史类比。
• 提出了自我反思方法，以减少LLMs生成历史类比时的幻觉和刻板印象。

算法模型

• 数据集检索方法：使用LLMs从指定数据集中检索历史事件。
• 自由生成方法：指导LLMs自主生成类似的历史事件。
• 自我反思方法：包括候选生成器和答案反思器两个模块，通过迭代过程生成历史类比。
  

实验效果

• 流行类比：LLMs在流行类比上的表现优于一般类比。
• 自由生成方法：与数据集检索方法相比，自由生成方法平均提高了0.25。
• 自我反思方法：在两种开源和封闭源模型上都取得了最高结果。
• 人工评估：自我反思方法获得了最高的排名分数和最优选择的百分比。

推荐阅读指数

★★★★☆

推荐理由

这篇文章在AI领域具有创新性，特别是在利用大型语言模型进行历史类比生成方面。对于对AI、历史类比、文本生成感兴趣的研究者和开发者来说，这是一篇值得一读的论文。

6. Enhancing Advanced Visual Reasoning Ability of Large Language Models

Z Li, D Liu, C Zhang, H Wang, T Xue, W Cai - arXiv preprint arXiv:2409.13980, 2024
https://arxiv.org/pdf/2409.13980

提升大型语言模型的高级视觉推理能力

摘要

本文提出了一种新的方法，名为复杂视觉推理大型语言模型（CVR-LLM），旨在结合视觉-语言模型（VLMs）的视觉感知能力和大型语言模型（LLMs）的广泛推理能力。CVR-LLM通过将图像转化为详细的、上下文感知的描述，并利用LLMs的文本知识进行准确预测，无需额外训练。此外，提出了一种新的多模态即时学习（ICL）方法来增强LLMs的上下文理解和推理能力。实验结果显示，CVR-LLM在多个复杂视觉推理任务中达到了最先进的性能。

研究背景

随着视觉-语言（VL）研究的进展，对模型进行复杂视觉推理的能力提出了新的挑战。传统的VL模型在视觉感知任务上表现良好，但在复杂推理场景中表现不佳。相反，大型语言模型（LLMs）表现出强大的文本推理能力，但缺乏视觉敏锐性。

问题与挑战

• 如何结合VLMs的视觉感知能力和LLMs的文本推理能力。
• 如何有效地利用图像的详细描述来增强LLMs的推理过程。
• 如何在不增加额外训练成本的情况下，提高模型在复杂视觉推理任务上的性能。

如何解决

• 提出了一种基于“VLMs + LLMs”概念的新方法，通过迭代自优化循环将图像转化为上下文感知的图像描述。
• 开发了一种新的多模态即时学习（ICL）方法，增强了LLMs在复杂多模态环境中的推理能力。
• 引入了链式比较（Chain-of-Comparison, CoC）技术，以更细致地评估抽象概念。

创新点

• 提出了CVR-LLM框架，将图像转化为详细的、上下文感知的描述，无需额外训练即可利用LLMs的知识进行推理。
• 开发了一种新的多模态即时学习（ICL）方法，提高了LLMs在复杂视觉推理任务中的性能。
• 引入了CoC技术，提供了一种新的评估抽象概念的方法。

算法模型

• 上下文感知图像描述（CaID）：通过迭代自优化循环生成详细的图像描述。
• 复杂视觉推理即时学习（CVR-ICL）：通过评估相关案例并选择适合的复杂多模态示例来增强LLMs的上下文理解和推理。
  
  
  

实验效果

• 在WinoGAViL、Winoground、Whoops、VCR和NYCCC五个复杂视觉推理任务上达到了最先进的性能。
• 实验结果显示，CVR-LLM在多个任务中的表现超过了现有的SOTA模型。

推荐阅读指数

★★★★☆

推荐理由

这篇文章提出了一种创新的方法来提升大型语言模型在复杂视觉推理任务中的性能，对于从事视觉-语言研究和多模态学习的研究人员和开发者来说，这是一篇值得一读的论文。

---

后记

如果您对我的博客内容感兴趣，欢迎三连击(点赞，关注和评论)，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习，计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。