“第二课堂”AI实践第四次笔记

一、大型语言模型（LLM）理论简介

1.LLM定义与特点：处理海量文本，多者可具备数百亿参数，理解语言深度，展现涌现能力。

2.模型大小与性能关系：与小模型架构相似，但参数量级提升带来解决复杂任务的显著优势。

3.LLM国内外代表：国外有GPT系列、LLaMA等，国内有文心一言、通义千问等，均表现强大。

4.LLM应用实例：ChatGPT是LLM的对话应用典范，展示出与人类流畅自然的交互能力。

5.常见的LLM模型（闭源LLM特性简介）：OpenAI的GPT模型包括ChatGPT和GPT-4，是强大的生成式预训练语言模型，用于对话和复杂任务解决。GPT-4的规模超过GPT-3，性能大幅提升，支持多模态输入。ChatGPT则展示了卓越的会话能力，可扩展并支持插件。

6.LLM的能力：

（1）涌现能力简介：LLM具有上下文学习、指令遵循和逐步推理等能力，使其成为解决复杂问题和应用于多领域的强大工具。

（2）基座模型的多元应用能力：基座模型是预训练的AI技术范式，通过大模型统一处理多任务，提升研发效率，减少人力，增强应用效果。

（3）支持对话统一入口：ChatGPT推动了对话式AI发展，大型语言模型让聊天机器人重获关注，预示未来智能体应用新趋势。

7.LLM的特点：

（1）大语言模型特点概述：规模巨大，参数量可达数十亿至数千亿，能捕获复杂语言结构。

（2）预训练与微调机制：先在大规模无标签数据上预训练，再通过有标签数据微调适应特定任务。

（3）上下文感知能力：能理解和生成依赖上下文的内容，擅长对话、文章生成和情境理解。

8.LLM的广泛应用：

（1）自然语言处理的革新

（2）改进信息检索

二、stable diffusion图像生成方法

（一）概述

1.stable diffusion概述：stable diffusion是一种基于深度学习的文本到图像的生成模型。

2.主要组成部分：文本编码器、图像解码器、噪声预测器。

（二）模型优势

1.模型稳定性：stable diffusion模型在训练过程中表现出较高的稳定性，不易出现崩溃或异常现象

2.训练速度：stable diffusion模型在训练过程中具有较快的速度，能够快速生成高质量的图像。

3.易于优化和多样性控制

（三）模型缺点

1.模型训练数据不足

2.模型参数设置不当

3.模型结构设计问题

4.生成样本速度问题：模型训练时间长、模型推理时间长、硬件要求高

（四）前景与应用：创意性与多样性拓展