大语言模型是通用人工智能的实现路径吗？【文末有福利】

最新推荐文章于 2024-11-15 20:05:10 发布

tgbaggio1

最新推荐文章于 2024-11-15 20:05:10 发布

阅读量1.6k

点赞数 26

分类专栏：大语言模型文章标签：人工智能语言模型自然语言处理

本文链接：https://blog.csdn.net/weixin_39844018/article/details/139161579

版权

大语言模型专栏收录该内容

19 篇文章 17 订阅

订阅专栏

一、哲学与人工智能

让计算机达到人类的智能水平，从而胜任各类复杂任务，一直是计算机科学家梦寐以求的目标。这个追求从计算机诞生伊始就被提出，逐渐演变为如今备受瞩目的人工智能学科。为了完成这个追求，正确的做法是首先弄清楚人类的智能来源于哪里。这其实是思辨的心灵最感兴趣的一个问题。传统的神学答案——人的智能来源于上帝将生气吹在人的鼻孔——已经逐渐失去了它在过去几个世纪里占据的统治地位。另外，显然这个问题超出了科学的范畴，因为人类并没有确切的知识可以回答这个问题。

根据英国哲学家罗素在《西方哲学史》里的主张“一切确切的知识——我是这样主张的——都属于科学；一切涉及超乎确切知识之外的教条都属于神学。但是介乎于神学与科学之间还有一片受到双方攻击的无人之域；这片无人之域就是哲学”。因此，对于这个问题，我们似乎只能在哲学的范畴里进行探索。哲学家马丁·海德格尔可能给出了最接近真理的答案“语言是存在之家。在它的居所里，人类栖息其中。” 语言不但是人类日常交流的工具，而且几乎所有的知识都以文字的形式进行呈现和存储。如果计算机能够理解人类的语言，不仅可以使人与机器之间的交流更加顺畅，还能让机器学会存储在语言中的知识。而这一过程将推动人工智能实现质的飞跃——从单一的人工智能逐渐演进成为通用人工智能。

上面的讨论可能会给人一种读完好像明白了又好像什么都没明白的惆怅感。的确如此，人工智能学科中的这一部分——如何能让机器获得智能——已经站在了人类思想的最前沿，正如李约瑟在《中国科技史》里所述“当思想清晰时，科学写作通常也是清晰的。当思想在知识的前沿徘徊时，隐喻、类比和非常一般的术语取代了精确的术语和清晰的概念。” 但幸运的是，人工智能的技术部分已经是很清晰的科学了。从技术上来说，自然语言处理（让计算机学习人类语言）汇集了人工智能最尖端的技术和最巧妙的设计。通过深入研究自然语言处理，我们可以迅速了解人工智能的最新技术和发展趋势。此外，自然语言处理的相关技术和建模思维也能轻松应用于其他领域。这就是为什么学习人工智能最好的方式是学习如何进行自然语言处理。

二、内容简介

考虑到像ChatGPT这样的大语言模型代表了自然语言处理的最新成果，因此，一个更具体的学习方法是从零开始理解并构建ChatGPT。接下来，我们来看看实现这一目标所需的知识体系，如下图所示。

图1

在结构层面上，大语言模型的核心要素是注意力机制和深度学习优化技术。注意力机制源于循环神经网络的发展。为了深刻理解循环神经网络，必须先了解神经网络的基础模型——多层感知器。多层感知器的基础可以进一步分为3个部分：首先是作为模型骨架的线性回归；其次是作为模型灵魂的激活函数，激活函数演进自逻辑回归；最后是作为工程基础的反向传播算法和建立在其之上的最优化算法。深度学习的起点是卷积神经网络，大语言模型从中吸取了大量经验：如何加速模型学习和进化。当然，理解卷积神经网络的基础也是多层感知器。

模型结构固然是学习的关键，但除此之外，我们还需要了解大语言模型的物质基础，即数据。对数据的学习主要聚焦于模型的训练方式、模型解释和特征工程三个方面。大语言模型的训练涉及到迁移学习和强化学习，这两者又源自监督学习。模型解释与特征工程则需要吸取计量经济学和其他经典模型的经验。

无论是模型结构还是数据基础，进行技术讨论都离不开数学基础，具体而言，主要包括张量、概率和微积分等内容。

上述内容正是《解构大语言模型：从线性回归到通用人工智能》所覆盖的范围。通过这本书，读者可以了解到搭建像ChatGPT这样的系统的每个细节，并通过这样的方式精通人工智能领域的绝大部分内容。