相关教程test

第一天

主题：LLM初体验

上午：

一，大模型的发展背景和模型演进

• 数据增长和算力提升
• LSTM到BERT到LLM的参数巨变
• 最新paper解读

二，大模型核心阶段的认识和理解

• 预训练（CLM，Scaling Law等）
• 对齐（SFT，RW，RLHF）
• 微调（p-tuning，p-tuningV2，Lora等）

下午：

三，大模型核心架构详解Transformer

• 基本组成部分
• self-attention中的QKV的含义
• self-attention中scale的作用
• self-attention的时间复杂度问题

四，业界为何使用LLM，应该具备的条件？

• 传统bert-fintuning模式的典型弊端
• 离线需求场景下的llm提示工程
• 微调本质上适合在解决哪类问题
• 什么阶段应该考虑预训练和对齐工程

---

第二天

主题：必要的提示工程

上午：