剖析chatGPT背后的核心技术

      全世界都在讨论Chat GPT，其实很多人根本连GPT是什么都不知道。作为一个有着卡耐梅隆大学电子计算机博士学位的教育博主，我做了一些功课给大家普及一下Chatgpt的技术起源和这款AI聊天机器人背后的核心技术。首先让我们以一种易于理解的方式去拆解一下gpt这三个字。gpt的全称呢，是generative pre trained Transformer，中文翻译是生成性预训练变换模型。那我们一个一个字母来看gpt的第一个字母G是generative的首字母翻译过来就是生成性，所以我们称chat gpt是生成性人工智能，也就是所谓的生成性AI。在此之前的人工智能、机器学习呢，在很大程度上都是局限于观察、分析和分类内容，一个经典的机器学习的问题呢，就是图像识别，比如说让机器去识别一只猫，那程序呢，它会仔细的去搜索和分析大量的图像，以寻找与猫相匹配的图像。而以gpt为代表的生成性AI是一项技术上的突破，它是可以去生成新内容，而不是仅限于分析现有的数据的一种AI。比如它可以根据我们的需要去创建一个猫的图像或者文本的描述。那生成性AI模型呢，也可以用于去生成程序、代码、诗歌、文章和艺术品等等。最新发布的Chat GPT呢，是专注于文本内容的生成。那未来应该也会有图像、艺术等各种形式的生成性AI，尽管应用领域不同，但是它的技术核心是类似的，也就是生成性的人工智能。那gpt的第二个字母是P呢？P是pre-traineg的首字母翻译过来是预训练，它表示这个模型已经在某些有限的数据集上进行了训练，就像我们在被要求回答某个问题之前，我们会事先去阅读一些相关的书籍一样，Chatgpt之所以能够听起来像人一样来回答我们的问题，就是因为。 他已经接受过大量数据的训练，而这些数据呢，是由我们真实的人来编写的，也就是我们人类发布在互联网上的2022年以前的互联网上的内容。那么怎么