LLM-综述
文章平均质量分 94
LLM-综述
nopSled
一周一更
展开
-
Topologies of Reasoning: Demystifying Chains, Trees, and Graphs of Thoughts翻译
大型语言模型 (LLM) 已成为现代机器学习 (ML) 的主要工具。源于简单的自然语言处理(NLP)任务,其广泛的潜力已迅速应用于其他领域,例如逻辑推理、规划、医学等。由于LLM的主要交流媒介是自然语言,提示工程已成为一个受到广泛关注和重视的新研究领域。首先,它使任何人都易于使用和尝试,从而实现了LLM和整个生成式人工智能领域的民主化。其次,它具有成本效益,不需要昂贵且耗时的微调或预训练。精心设计 LLM 问题以提高结果的准确性以及逻辑或代数查询等任务的成本效益具有挑战性。翻译 2024-03-04 04:53:47 · 34 阅读 · 0 评论 -
Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models翻译
大型语言模型(LLM)以其巨大的参数量为特征,已成为自然语言处理(NLP)和人工智能发展的有前途的基石。通过适当的对齐技术,例如监督微调(SFT)和来自人类反馈的强化学习(RLHF),最近的LLM在解决各种下游任务方面表现出了强大的能力。尽管如此,如图 1 所示,LLM尽管取得了显着的成功,但有时会产生看似合理的输出,但实际上偏离了用户输入、与先前生成的上下文相反或不符合事实知识的内容——这种现象通常被称为幻觉,这极大地破坏了LLM在现实场景中的可靠性。翻译 2023-10-21 05:07:17 · 231 阅读 · 1 评论 -
Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback翻译
基于人类反馈的强化学习(RLHF)已成为一种重要的技术,可以将机器学习模型调整到难以定义的目标。特别是,RLHF是训练SOTA语言模型(LLM)的关键组成部分,例如OpenAI的GPT-4,Anthropic的Claude,Google的Bard和Meta的Llama 2-Chat。RLHF和类似的方法允许LLM建模其训练数据外的分布,并调整文本的分布,从而使模型输出受到人类评估者的高度评价。我们将结合了三个中间过程的方法称为RLHF:反馈收集,奖赏建模和策略优化。图1(top)说明了此设置。翻译 2023-08-09 15:27:10 · 214 阅读 · 0 评论 -
A Survey for In-context Learning翻译
随着模型和语料库大小的增加,大语言模型展示了从由少量样例构成的演示上下文中进行学习的能力(即in-context learning)。许多研究表明,LLM可以使用ICL执行一系列复杂的任务,例如解决数学推理问题。这种强大的能力已被作为大型语言模型的新兴能力进行了广泛验证。in-context learning的关键思想是从类比中学习。图1给出了一个示例,其描述了语言模型如何用ICL做出决策。首先,ICL需要一些样例来构建演示上下文。这些样例通常用自然语言模板编写。翻译 2023-01-30 17:28:00 · 707 阅读 · 0 评论 -
Augmented Language Models: a Survey翻译
这篇综述回顾了通过推理技巧和使用工具对语言模型(LM)的能力进行增强的工作。前者被定义为将潜在复杂的任务分解为更简单的子任务,而后者则定义为调用外部模块,例如代码解释器。LM可以分别利用这些增强技术,或通过启发式方法结合使用,或者从演示样例中学习这样做。尽管同样遵守标准的缺失字符预测目标,但这种增强的LM可以使用各种非参数的外部模块来扩展其上下文处理能力,从而脱离了纯语言建模范式。因此,我们将它们称为增强语言模型(ALM)。缺失字符预测目标使ALM能够学习推理、使用工具甚至行动,同时仍执行标准的自然语言任务翻译 2023-03-27 21:37:04 · 491 阅读 · 0 评论