大型语言模型LLM
1.定义与特点
处理海量文本,多者可具备数百亿参数,理解语言深度,展现涌现能力
2.国内外代表
国外GPT,LLaMA
国内文心一言,通义千问
3.模型大小与性能关系
与小模型架构相似,但参数量级提升带来解决复杂任务的显著优势
4.应用实例
ChatGPT是对话应用典范,展示出与人类流畅自然的交互能力
Transformer是构成所有大语言模型核心的模块
注意力机制
聚焦于输入序列中的重要部分,类似于人类阅读时关注关键词
一个一个token输出的(例如单词和字符)
2023深度学习运用于语言模型
chatgpt闭源,不公开
特点:规模巨大,预训练和微调机制、上下文感知能力
支持多语言和多模态、潜在的伦理和风险、高计算资源需求
通用人工智能AGI:LLM被视为他的早期形态,展示了机器学习更高级别抽象概念和推理能力的潜力
prompt:输入给大语言模型的东西
system前提条件
user我们问
assistant大模型回答
streamer流式输出
stable diffusion图像生成方法
是一种基于深度学习的文本到图像的生成模型
主要组成部分:文本编码器,图像编码器,噪声预测器
1.模型的稳定性,不容易出现崩溃或异常
2.训练速度
样本多样性牺牲
1.模型训练数据不足
2.模型参数设置不当
3.模型结构设计问题