解码AI大模型第一节课——中山大学软件工程学院公选课

目录

欢乐一刻 

​编辑

决策式AI和生成式AI的区别

GPT发展史

 ChatGPT是怎么训练出来的

人1000亿神经元比1750亿参数强？

欢乐一刻 

决策式AI和生成式AI的区别

决策式：这类AI系统主要是为了做出决策或分类。例如，一个邮件分类器可以决策某封邮件是垃圾邮件还是正常邮件。

生成式：这类AI系统的目标是生成新的、通常之前未见过的内容。例如，生成式对抗网络（GAN）可以生成新的图像或文本。

GPT发展史

2020：GPT-3（1750亿参数）只有文本接龙的能力，此时已经可以写小说了。

2022：InstructGPT，可以问问题了，但是现在可以输入问题了。但核心还是接龙。

ChatGPT（Generative Pre-trained Transformer）：G代表生成，P是基于互联网数据的预训练，T是一个转换器。它就是把一个语言序列，转换为了另外一堆语言序列。

 ChatGPT是怎么训练出来的

细节没有披露

1.学习文字接龙。一个一个字接。

        广州最高的山是哪座？ 白...云...山

        问问题时是随机性采样（按概率来取），所以可以每次都不同。

2.人类老师引导

        标出哪个答案更好

        不需要穷尽问题，仅告诉喜好，根据喜好来打分（相当于定义一个Loss）

3.模仿人类老师的喜好

        有了问题答案以及人类老师人工标注的偏好以后，就可以训练出一个模仿老师的模型，这里称之为Teacher Model。

4.向模拟老师学习

        用增强式学习向模拟老师学习。

但第三步应该就已经训练好了？

人1000亿神经元比1750亿参数强？

医学传言：一个神经元相当于8个参数。

个人观点

• 马克思主义：人有从实践到认识再到实践的质的飞跃。GPT没有实践。
  • 马克思主义视实践为人们在社会历史过程中的物质活动，特别是生产活动。
  • 实践是认识的起点。人们在与自然和社会的物质交往中，如劳动、生产活动中，逐渐形成对外部世界的初步感性认识。然后，通过思维的加工，这些感性认识转化为理性认识。
• 数据输入：人的输入更多维。有多种感觉。学习资源更丰富。