ML 2023_1_正确认识 ChatGPT

About this course

• Prerequisite
  • Math: calculus, Linear algebra and Probability
  • Programming: Python
• Focus on deep learning
  • Can be first ML course
• Covering broad aspects and the latest technolodgy
• Application Oritented
  • computer vision
  • natural language processing
  • speech processing
  • reinforecement learning

ChatGPT 原理剖析

预训练 Pre-train (基石模型 FoundationModel/自监督学习)

Q: 一般机器使怎么学习的？
监督式学习：根据“成对”的资料，机器找出函数 f
ChatGPT: 自己寻找“成对”的资料，学习，自己计算出函数 f

如下没有人类介入，是自督导学习（预训练/基石模型）：
2018 年，GPT，Model 117 M， Data 1GB
2019年，GPT2, Model 1542 M，Data 40GB
2020年，GPT3, Model 175B, Data 570GB (45T before filtering)

Q: ChatGPT 怎么做出来的？

增强式学习：reinforcement Learning

ChatGPT 有人类介入，在 pre-train 之后，进行 督导学习，进行微调 finetune；然后，进行 增强式学习 ，只需给出反馈，不用给明确的答案。

Q: 预训练有什么帮助？

对 ChatGPT 进行催眠：prompting

• TO-DO

举例：Multi-BERT 在 104 种语言上进行过 pre-train。

ChatGPT 所带来的研究问题

• 如何精准提出需求？（思考：对未来工作的影响，需要什么新的岗位）
• 如何更正错误？
• 怎么确定某结果是否是由 AI 生成的？
• 是否会不小心泄露秘密？（M-Unlearning）

思考：ChatGPT 是一个工具，如何精确地使用此类工具需要学习？

ChatGPT (可能) 是怎样炼成的

GPT: Generative Pre-trained Transformer

1. GPT 学习文字接龙
   不需要人类介入，GPT 在网络上检索，自己学习。

2. 人类老师引导文字接龙的方向

   • 模仿人类老师的喜好
   • 人类老师去标注
   • 生成一个模仿老师的 f：Teacher Model

3. 用增强式学习，向 Teacher Model 学习
   增强式学习：调整参数，得到高的 reward.