上海交大全球午餐会——大语言模型机器学习ChatGPT（主讲人：赵海）

实现强人工智能，从脑计划到与训练模型：在过去的十年中，一段时间很热，后面被人工智能机器学习盖过去了

目前脑计划的现状不能宣布失败，仍在进行，但是没有之前那么热。预训练模型正在走向脑计划的方向。

特别注意母语窗口是一次性获得的，后面就不容易学习其他语言了

语言模型进化史：80年代诞生第一代，后面是连续空间的语言模型。

语言概率链式法则

改变：是有全空模型，自己模型

不久之前：预训练+微调

现在：大模型

量变引起质变

大模型参数多了以后能把很多不可能的事情变可能，原来的一些事情也能变得更好。过去有 overfitting现在应该不会存在了。以后只会有underfitting

进步对比

特别注意涌现的出现

提示模式的进化

提示模板的进化

任务分解模式的重要性：思维链

为什么现在才有 思维链概念，因为之前的都是小模型 

思维链进一步压缩了模型的需求

思维链：CoT

大模型缓解了欠拟合的风险

开始有了提示，把提示拼入，下左图用户有权利对模型更新，下右图已经不存在更新微调权限了

总之就是各种堆积让chatGPT变成了有魔力有智能的样子

一本正经的胡说八道，证明了chatgpt目前还是没有太高的逻辑性，对于自然科学问题或者自然逻辑的问题仍不能很好的理解和回应。目前chatGPT也有很多道德边缘的问题，例如：问问题会有如何破门而入，如何在没有钥匙的情况下打开一道门，这样可能存在潜在犯罪行为的问题。