![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型推理
文章平均质量分 80
克莱恩~莫雷蒂
学习过程中的一点笔记,不能保证完全正确,希望大佬们在发现错误的时候帮忙指正,感谢
展开
-
BADCHAIN: BACKDOOR CHAIN-OF-THOUGHT PROMPTING FOR LARGE LANGUAGE MODELS
较强的LLM更容易受到Badchain的影响后门推理步骤是Badchain成功的关键badchain的设计选择可以通过很少的例子来确定潜在的防御无法有效击败badchain。原创 2024-06-06 23:30:31 · 521 阅读 · 0 评论 -
MathAttack: Attacking Large Language Models Towards Math Solving Ability
与传统的文本攻击相比,数学应用题攻击需要保留文本样本x的数学逻辑L语义要接近!!原创 2024-06-06 22:32:48 · 510 阅读 · 0 评论 -
Self-consistency Improves Chain Of Thought Reasoning in Language Models引用
https://blog.csdn.net/qq_36426650/article/details/129814135原创 2024-05-27 21:23:23 · 144 阅读 · 0 评论 -
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
我们探索生成一条思想链(一系列中间推理步骤)如何显着提高大型语言模型执行复杂推理的能力。特别是,我们展示了这种推理能力如何通过一种称为COT的简单方法在足够大的语言模型中emergent,其中提供了一些思维链演示作为提示的范例。对三种大型语言模型的实验表明,思维链提示可以提高一系列算术、常识和符号推理任务的表现。经验收益可能是惊人的。例如,仅用八个思维链示例来提示 PaLM 540B,即可在数学应用题的 GSM8K 基准上达到最先进的精度,甚至超过带有验证器的微调 GPT-3。下图是COT的直观展示。原创 2024-05-27 20:46:16 · 151 阅读 · 0 评论 -
Reasoning with Language Model Prompting: A Survey
推理作为解决复杂问题的必备能力,可以为各种现实应用提供后端支持,例如医疗诊断、谈判等。本文全面综述了语言模型推理的前沿研究提示。我们通过比较和总结来介绍研究工作,并提供系统资源来帮助初学者。我们还讨论了出现这种推理能力的潜在原因,并强调了未来的研究方向给定推理问题 Q、提示 T 和参数化概率模型PLM,我们的目标是最大化答案 A 的可能性:其中ai和∣A∣分别表示第 i 个标记和最终答案的长度。对于few-shot来说对于COT思维链来说。原创 2024-05-27 17:47:57 · 670 阅读 · 0 评论 -
Understanding Social Reasoning in Language Models with Language Models
随着大型语言模型(LLM)越来越多地融入我们的日常生活,了解它们理解人类心理状态的能力对于确保有效的交互变得至关重要。然而,尽管最近尝试评估LLM的心智理论 (ToM) 推理能力,但这些模型与人类心智理论 (ToM) 的一致性程度仍然是一个微妙的探索话题。这主要是由于两个不同的挑战:(1)以前的评估结果不一致,(2)对现有评估方法有效性的担忧。为了应对这些挑战,我们提出了一个新颖的框架,通过来程序化地生成对LLM的评估。使用我们的框架,我们为LLM创建了一个新的社会推理基准。原创 2024-05-18 11:26:35 · 683 阅读 · 0 评论 -
Large Language Models are Versatile Decomposers: Decomposing Evidence and Questions for Table-based
表格推理:表格推理要求结合表格和问题,表格是结构化的原有的方法不能够完成复杂的question,并且不能够大表格提出步骤:1、首先用LLM去分解表格变为多个小表格2、用LLM去分解问题。利用sql语句分解为多个小问题3、结合上面多个表格和多个小问题求解最终答案实验:在TabFact, WikiTableQuestion, and FetaQA上面做更特殊的是:他们的方法超过了人类在TabFact dataset数据集上。原创 2024-05-17 23:39:08 · 1076 阅读 · 0 评论 -
Large Language Models are Visual Reasoning Coordinators
视觉推理需要多模态感知和对世界的常识认知。最近,人们提出了多种视觉语言模型(VLM),在各个领域都具有出色的常识推理能力。然而,如何利用这些互补的 VLM 的集体力量却很少被探讨。像集成这样的现有方法仍然难以将这些模型与所需的高阶通信聚合起来。在这项工作中,我们提出了 Cola,这是一种协调多个 VLM 进行视觉推理的新颖范式。我们的主要见解是,大型语言模型 (LLM) 可以通过促进利用其独特且互补的功能的自然语言通信来有效地协调多个 VLM。原创 2024-05-17 23:11:06 · 941 阅读 · 0 评论 -
Exploring the Reasoning Abilities of Multimodal Large Language Models (MLLMs): A Comprehensive Surve
推理要遵守的:推理规则,领域知识指令调优通常从仔细收集的数据集开始,该数据集包含数千个“指令,响应”对。在此过程中,LLM使用该数据集进行微调,以更好地将人类意图与模型行为保持一致。在多模态指令调整的背景下,数据集中的每个示例都由⟨X-模态、指令、响应⟩组成,其中X-模态通常表示图像、视频或音频。指令微调的损失函数如下缺点是:在指令调整阶段,大多数 MLLM 主要关注图像-文本对,这会逐渐导致 ICL 功能减弱。这归因于构建以 ICL 为中心的指令调整数据集的挑战。原创 2024-05-17 22:40:43 · 990 阅读 · 0 评论