大模型笔记

大型语言模型LLM

1.定义与特点

处理海量文本，多者可具备数百亿参数，理解语言深度，展现涌现能力

2.国内外代表

国外GPT，LLaMA

国内文心一言，通义千问

3.模型大小与性能关系

与小模型架构相似，但参数量级提升带来解决复杂任务的显著优势

4.应用实例

ChatGPT是对话应用典范，展示出与人类流畅自然的交互能力

Transformer是构成所有大语言模型核心的模块

注意力机制

聚焦于输入序列中的重要部分，类似于人类阅读时关注关键词

一个一个token输出的（例如单词和字符）

2023深度学习运用于语言模型

chatgpt闭源，不公开

特点：规模巨大，预训练和微调机制、上下文感知能力

支持多语言和多模态、潜在的伦理和风险、高计算资源需求

通用人工智能AGI：LLM被视为他的早期形态，展示了机器学习更高级别抽象概念和推理能力的潜力

prompt:输入给大语言模型的东西

system前提条件

user我们问

assistant大模型回答

streamer流式输出

stable diffusion图像生成方法

是一种基于深度学习的文本到图像的生成模型

主要组成部分：文本编码器，图像编码器，噪声预测器

1.模型的稳定性，不容易出现崩溃或异常

2.训练速度

样本多样性牺牲

1.模型训练数据不足

2.模型参数设置不当

3.模型结构设计问题