整体代码结构![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/70383ecf675f43989ced9c2e8d149589.png#pic_center)
basline精读见Task1文章
大模型介绍
大语言模型的概念
大语言模型(英文:Large Language Model,缩写LLM),也称大型语言模型,是一种人工智能模型,旨在理解和生成人类语言。
通常,大语言模型 (LLM) 指包含数十亿(Billion或更多)参数的语言模型,这些模型在大量的文本数据上进行训练,例如国外的有GPT-3 、GPT-4、PaLM 、Galactica 和 LLaMA 等,国内的有ChatGLM、文心一言、通义千问、讯飞星火等。
大模型的能力和特点
- 大模型的能力
大语言模型(LLM)与以前的预训练语言模型(PLM)的主要区别在于其涌现能力。这种能力在小型模型中不明显,但在大型模型中显著。例如:
- 上下文学习:首次由GPT-3引入,允许模型在提供自然语言指令或多个任务示例的情况下,通过理解上下文并生成相应输出来执行任务。
- 指令遵循:通过指令微调,LLM可以根据任务指令执行未见过的任务,展示出强大的泛化能力。
- 逐步推理:通过"思维链(Chain of Thought, CoT)"策略,LLM能够解决多步推理任务,例如数学问题。
- 大模型的特点
- 巨大的规模:参数规模达数十亿甚至数千亿,使其能捕捉更多语言知识和复杂语法结构。
- 预训练和微调:在大规模无标签文本数据上预训练,然后通过有标签数据微调,适应特定任务。
- 上下文感知:具备强大的上下文感知能力,能够理解和生成依赖前文的文本内容。
- 多语言支持:支持多种语言,促进跨文化和跨语言的应用。
- 多模态支持:一些LLM支持文本、图像和语音的多模态数据。
- 涌现能力:在大规模模型中表现出明显的性能提升,能处理更复杂的任务。
- 多领域应用:广泛应用于文本生成、自动翻译、信息检索、摘要生成、聊天机器人等多个领域。
- 伦理和风险问题:需要谨慎处理生成有害内容、隐私问题和认知偏差等伦理和风险问题。
快速简单提升逻辑推理能力
只了解basline的话,如果要快速简单地提升逻辑推理能力,首先选择自认为合适的大模型,其次优化prompt。优化prompt可以参考吴恩达prompt工程课程。参考笔记:吴恩达课程之prompt提示词——如何向chatgpt提问,获得你想要的结果?干货满满