Datawhale AI夏令营 第三期 逻辑推理 Task2：basline精读

整体代码结构

basline精读见Task1文章

大模型介绍

大语言模型的概念

大语言模型（英文：Large Language Model，缩写LLM），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。
通常，大语言模型 (LLM) 指包含数十亿（Billion或更多）参数的语言模型，这些模型在大量的文本数据上进行训练，例如国外的有GPT-3 、GPT-4、PaLM 、Galactica 和 LLaMA 等，国内的有ChatGLM、文心一言、通义千问、讯飞星火等。

大模型的能力和特点

1. 大模型的能力
   大语言模型（LLM）与以前的预训练语言模型（PLM）的主要区别在于其涌现能力。这种能力在小型模型中不明显，但在大型模型中显著。例如：

• 上下文学习：首次由GPT-3引入，允许模型在提供自然语言指令或多个任务示例的情况下，通过理解上下文并生成相应输出来执行任务。
• 指令遵循：通过指令微调，LLM可以根据任务指令执行未见过的任务，展示出强大的泛化能力。
• 逐步推理：通过"思维链（Chain of Thought, CoT）"策略，LLM能够解决多步推理任务，例如数学问题。

2. 大模型的特点

• 巨大的规模：参数规模达数十亿甚至数千亿，使其能捕捉更多语言知识和复杂语法结构。
• 预训练和微调：在大规模无标签文本数据上预训练，然后通过有标签数据微调，适应特定任务。
• 上下文感知：具备强大的上下文感知能力，能够理解和生成依赖前文的文本内容。
• 多语言支持：支持多种语言，促进跨文化和跨语言的应用。
• 多模态支持：一些LLM支持文本、图像和语音的多模态数据。
• 涌现能力：在大规模模型中表现出明显的性能提升，能处理更复杂的任务。
• 多领域应用：广泛应用于文本生成、自动翻译、信息检索、摘要生成、聊天机器人等多个领域。
• 伦理和风险问题：需要谨慎处理生成有害内容、隐私问题和认知偏差等伦理和风险问题。

快速简单提升逻辑推理能力

只了解basline的话，如果要快速简单地提升逻辑推理能力，首先选择自认为合适的大模型，其次优化prompt。优化prompt可以参考吴恩达prompt工程课程。参考笔记：吴恩达课程之prompt提示词——如何向chatgpt提问，获得你想要的结果？干货满满