生成式人工智能自学笔记

一、生成式AI是什么

以ChatGPT为例，是一个拥有上亿参数的函数
同样的，AI画图也是一个拥有上亿参数的函数
对于语言模型：需要有“创新性”，不能局限于投喂给他的训练数据，需要一定的生成策略

二、大语言模型背后原理

以ChatGPT为例，原理：文字接龙

1. 为什么不直接输出概率最大的token（这里指代文字）呢

因为会导致语言掉帧，无法生成比较自然的对话。

2. Token？

语言模型：token需要可以穷尽

1. 英文：通常是一个音节，不是一个单词(随时创造，无法穷尽枚举)
2. 中文：通常是单字

3. GPT怎么学习文字接龙策略呢？

输入一个不完整句子，输出一个概率分布
类神经网络使用Transformer
学习阶段为：预训练—督导式学习—强化学习

1. 预训练（GPT自己学习）
   预训练后，督导式学习不用太多资料
2. 督导式学习（人类老师提供学习资料）
3. 强化学习（人类回馈GPT的答案）
   基于人类反馈的强化学习
   (1)模仿人类喜好训练Reward Model
   (2)向人类学习使用Reward Model

督导式+强化学习=Alignment“对齐”

4. GPT怎么学习文字接龙策略呢？

三. 激发GPT大语言模型潜力

这一部分主要介绍如何高效使用GPT

1. 需求讲清楚
2. 提供资讯给GPT
3. 提供范例
4. 鼓励GPT想一想
   Think step by step！
5. 如何找出神奇咒语
6. 上传档案
7. 使用其他工具
   比如需要某些领域的paper，使用ML Paper Reader
8. 拆解任务
9. 自主进行规划（让机器做计划）
10. ChatGPT会自己反省
    4.0版本反省能力更强
11. 与真实环境互动