CMU生成式人工智能大模型：从入门到放弃（一）

引言

在人工智能的世界里，生成式AI（Generative AI）是一股新兴的力量，它不仅能够模仿人类的创造力，甚至在某些领域超越了人类的想象。在本系列博客中，我们将深入探索CMU（卡内基梅隆大学）的生成式人工智能课程，从基础理论到实际应用，再到我们可能遇到的挑战和困境，一起揭开生成式AI的神秘面纱。

什么是生成式AI？

生成式AI是人工智能的一个分支，它涉及到开发能够模仿或超越人类行为的计算机系统。这些系统在多个子领域有着广泛的应用，包括感知、推理、规划、沟通、创造力、控制/运动/操作和学习。随着大型语言模型（LLMs）的出现，我们对学习问题的处理方式发生了变革，例如通过上下文学习。

递归神经网络（RNN）和语言模型

递归神经网络是一种适合于处理序列数据的神经网络，它能够捕捉时间序列中的动态特征。在语言模型中，RNN可以用来预测文本序列中的下一个词或字符。通过学习大量的文本数据，RNN能够捕捉到语言的统计规律，并生成连贯、有意义的文本。

语言模型的基本概念

语言模型主要做三件事：

1. 将原始文本转换为单词或“标记”序列。
2. 学习或近似这些序列的联合概率分布。
3. 从隐含的条件分布中采样，生成新的单词或“标记”。

在实践中，我们通常直接学习或近似这个条件分布。例如，使用链式法则预测下一个词，基于前文中的词。