李宏毅ChatGPT内容
李宏毅老师2023年录制关于ChatGPT的介绍
风过无痕0230
If you didn't code, you didn't learn.
展开
-
1.1 ChatGPT背后的关键技术-预训练
ChatGPT的GPT对应的英文分别为Generative Pre-trained Transformer,意思是用到Transformer网络架构的生成式预训练模型。其中预训练也叫做自监督学习(Self-supervised Learning)或者是大模型(Foundation Model)。原创 2023-06-22 22:18:10 · 571 阅读 · 1 评论 -
1.0 正确认识ChatGPT
通过模型(函数)每次计算一个关于token(字)的多分类结果,然后随机抽样(sample)一个token作为输出,注意并不是直接输出概率最大的token,但概率越大的token被sample到的概率也越大。由于ChatGPT对于每个生成的token都是从结果中随机采样的,所以对于同一个输入的问题,它每次生成的答案可能都是不同的。再把这次输出的token(机)接到本次的输入后面,形成下一步的输入,用来计算下次输出的token(器)。重复上面的步骤,一直到模型的输出token为END的时候结束。原创 2023-06-22 21:57:14 · 146 阅读 · 1 评论