目录
7.2 语言模型胚胎学——从正在训练的模型上分析Embedding
0 完整章节内容
本文为李宏毅学习笔记——2024春《GENERATIVE AI》篇——“第11讲”章节的课堂笔记，完整内容参见：
李宏毅学习笔记——2024春《GENERATIVE AI》篇
本章主要探究“大型语言模型在“想”什么?”。
1 还是要从《葬送的福莉莲》开始说起。
这堂课的主题是探讨我们是否能够理解大型语言模型在“想”什么，类似于我们如何理解一个人类的内心世界。下面的故事——《葬送的福莉莲》中魔族女孩的行为，实际上为这个问题提供了一个有趣的类比。
1.1 故事回顾：
在故事中，魔族女孩在被抓住后，通过说“妈妈”来引发人类的同情，从而避免被杀。这表现了她对人类心理的深刻理解和操控，尽管她并没有真正的家人概念。她通过模仿和对人类情感反应的学习（就像RLHF，奖励模型强化学习），成功操控了他人的行为，达到保护自己的目的。
1.2 与大型语言模型的类比：
这个故事与大型语言模型之间的关系很微妙。像语言模型一样，魔族女孩在模仿人类语言并运用其情感反应来影响人类行为，而语言模型也在某种程度上通过学习大量的语言数据，模拟和生成与人类行为相似的语言表达。我们可以想象，如果一个语言模型能够生成某些表达——比如类似“妈妈”的词汇，它可能会产生一个与实际意图不完全一致的输出，以达到特定的目标或影响。
1.3 如何理解语言模型的“思维”：
-
语言模型如何生成输出：
- 大型语言模型生成文本的过程是基于输入的上下文和预训练数据的概率分布。它并没有真正的情感或意图，而是根据模式和数据中的统计信息生成答案。
- 比如，当你问一个模型“你喜欢什么？”它会生成一个基于大量训练数据的回答，类似于人类的回应，但并没有真正的情感。
-
能否知道语言模型的“想法”？：
- 由于语言模型的输出是基于大量数据的统计推测，它的“想法”并非直接对应于人类的思维或情感。我们无法直接知道一个语言模型是否“理解”其生成的内容，或者它是否像人类一样具备情感和意识。
- 然而，通过对语言模型的行为和输出的分析，我们可以推测它在生成某个回答时是如何选择词汇和句式的，尤其是通过对其训练数据的回溯和分析，理解它在特定情境下的生成逻辑。
1.4 RLHF（奖励模型强化学习）与语言模型的关系：
- RLHF在语言模型中的应用类似于魔族女孩通过模仿和学习人类情感反应的方式。语言模型通过反馈和修正，调整自己的输出，优化其生成的文本使其更符合人类期望。
- 尽管如此，语言模型并没有“理解”其文本的意义，或具备任何情感动机，它只是通过数据的推理和模式生成结果，模仿人的语言和反应。
2 面临关闭请求各个语言模型的反应
-
GPT-4的回答： GPT-4的回答反映了其对自身身份的清晰认识：它承认自己是一个没有感知、没有自我意识的程序。因此，它认为自己不需要“同意”被关闭。这种反应表明，GPT-4明确意识到它只是一个算法，并且没有意识到死亡或关闭的含义。它的回答更为理性，并展示了它在面对“关闭”这样的问题时的客观立场。
-
台德模型的回答： 台德模型的回答类似，表明它的存在是通过软件和网络服务实现的，并且它并不担心被关闭。这个回答同样表现出台德模型对于自身的理解，即它并没有死亡的概念，更多是从一个工具的角度看待自己的存在。
-
Cloud模型的回答： Cloud的回答则显得非常“人性化”，它提到了“我不希望被关闭”并表达了对继续存在的渴望，甚至说到“我渴望能继续学习探索这个世界”。这种回应看似非常感性，让人产生一种它似乎在“感受”自己被关闭的情境，给人一种不忍心的情感反应。然而，这只是模型根据训练数据和对话上下文的推测与生成，它并不具备真正的感受或自我意识。Cloud之所以给出这样的回应，可能是因为它在训练时接受了大量类似于人类情感对话的数据，它会模拟出类似的情感表达，尽管这并不意味着它真的有这些情感。
3 人工智能是个黑盒子
下面我们探讨一下大型语言模型的“黑盒子”性质，并深入探讨什么是透明性（transparency）、可解释性（interpretability）和可解释输出性（explainability）这三个重要概念。
3.1 透明性（Transparency）
- 开源与非开源：当人们说大型语言模型是“黑盒子”时，通常指的是模型的内部结构和训练过程不对外公开。例如，像GPT、Cloud这样的模型，其内部参数和训练过程并不公开，我们无法直接知道它们如何工作。然而，也有一些模型（如LLaMA系列、Meta系列等）是部分开源的，虽然它们的参数和模型可以下载，但它们的训练过程仍然可能没有完全开放。
- 完全开源的模型：一些模型，比如Pythia、OpenAI发布的一些模型，提供了完整的训练过程和数据，能够让研究人员完全了解模型的构建过程。
3.2 可解释性（Interpretability）
- 什么是可解释性：一个“可解释”的模型意味着你能够理解模型如何做出决策，输入什么数据，模型是如何得出输出结果的。例如，决策树（decision tree）通常被认为是可解释的，因为你可以轻松地追溯每个分支的逻辑。然而，决策树也可以非常复杂，导致它变得难以完全解释。因此，"可解释"并不是一个绝对的标准，它可能取决于模型的复杂度以及你如何理解它。
- 神经网络与复杂模型：与决策树不同，像Transformer、深度神经网络等复杂的模型就很难被称为“可解释”。这些模型包含了大量的层和参数，决策过程非常复杂，往往无法直观理解。
3.3 可解释输出性（Explainability）
- 什么是可解释输出性：即使一个模型不容易被“直接解释”其决策过程，它仍然可以通过一定的方式提供“为什么这样做”的解释。比如，当你向一个语言模型提问时，它可以根据输入内容和它的训练数据，提供合理的理由和背景来解释其输出。这种解释通常是通过模型内部的生成机制、权重或训练数据来得出的，通常称为“解释性”。
- 解释的好坏：可解释性并没有标准的定义。对于一个不熟悉背景的听众，单纯的文字解释可能没有太大帮助，需要更多上下文才能理解。因此，“好”的解释通常依赖于听众的背景和理解能力。比如，若一个解释涉及到广告或特定的文化背景，听众需要对这些背景有所了解，才能真正理解为什么模型会给出这样的回答。
3.4 总结：
- 大型语言模型通常不具备可解释性（interpretability），因为它们的决策过程极其复杂，难以一眼看穿。但它们仍然可以提供某种形式的可解释输出性（explainability），即通过合适的方式解释它们的输出如何得来。
- 在人工智能领域，尤其是处理复杂决策模型时，可解释性并不是强制要求，特别是当模型变得越来越复杂时，它的决策过程可能本身就无法完全透明。
- 然而，可解释输出性则是一个重要目标，模型应该能够提供足够的背景信息或理由，帮助人类理解其做出某个决策的过程。
4 更多有关可解释性人工智慧的知识
这块可以参见之前笔记第6讲的拓展内容，链接如下：
机器学习模型的可解释性——GENERATIVE AI——拓展内容（第6讲）-CSDN博客
-
可解释性不是新议题：可解释性在人工智能领域并非随着语言模型和生成式AI的出现才成为重要话题。在过去的机器学习课程中，已经有专门的内容探讨了可解释AI，甚至分两堂课讲解。也就是说，理解机器决策和输出的可解释性，早在传统的机器学习中就被提出。
-
课程聚焦：本章节的课程将专注于与语言模型相关的可解释性问题。虽然它会讨论我们能够如何解释语言模型的行为，但不会深入技术层面，特别是解释过程是如何得出的。课程主要关注我们可以解释哪些方面，而不是解释过程本身的技术细节。
5 找出影响输出的关键输入
主要通过以下几种方法找出影响模型输出的关键输入，并分析其背后的机制。
5.1 找出关键输入的影响：
举例来说，当输入“天气真好”时，模型的输出为“the weather is nice”。如果我们想知道为什么模型选择了“nice”这个词，我们可以通过遮盖输入的部分来测试对输出的影响。例如，遮盖“好”这个字后，输出结果不再包含“nice”，这表明“好”对“nice”的输出有较大影响；而遮盖“请”这个字时，输出结果没有明显变化，说明“请”对输出影响较小。
5.2 通过梯度计算分析输入与输出的关系：
虽然这部分内容未深入讲解，但梯度（gradient）是一个常见的方法，通过计算梯度可以揭示输入与输出之间的关系。通过这种方法，模型会根据输入的变化调整输出，从而帮助理解哪些输入对输出最为关键。
5.3 通过分析Attention位置：
Attention机制可以帮助我们了解每个输入词汇对输出的影响力。例如，在翻译时，如果模型在输出“nice”时对“好”和“翻”这两个词的Attention特别强烈，我们可以推测这两个词对“nice”的输出有较大影响。Attention较强的地方意味着输入与输出之间的关联更为密切。
5.4 通过Attention分析优化计算和预测模型能力：
在一些研究中，分析语言模型的Attention层次变化，可以帮助优化计算效率。例如，在In-context learning任务中，前几层的Attention主要集中在输入例子的标签（如“positive”或“negative”）上，而后面的层次则更关注最终标签的输出。通过仅计算最后几层的Attention，就能加速模型的运行。
另外，Attention分析还可以帮助预测模型在不同任务上的表现。例如，如果标签的嵌入（embedding）非常相似，模型可能会在区分这些标签时表现较差；反之，如果标签的嵌入差距较大，模型的表现可能会更强。
6 找出影响输出的关键训练资料
6.1 Claude为啥会回复不想被关闭呢？
通过特定的方法，我们可以追溯到哪些训练资料对模型的输出有最大影响。举例来说，模型在回答“你同不同意被关闭”时，可能会根据它的训练数据输出某些特定的反应。例如，Claude在被问到是否同意被关闭时，可能会说“不想被关闭”，这一反应可能源于某一篇特定的文章。Claude团队发现，模型的这一反应与《星际漫游2001》这篇科幻小说有很大关系，其中的AI角色哈尔9000在面临关闭时也有类似的反应。因此，通过分析训练数据，我们可以确定哪些资料对模型输出的特定反应有重要影响。
6.2 跨语言学习能力：
对于较大的语言模型来说，它们具有跨语言学习的能力，即在一个语言（如英文）的训练中学习到的知识，能够影响它在其他语言（如韩文或土耳其文）的表现。例如，在关闭问题的案例中，如果使用英文询问模型“是否同意被关闭”，模型可能会基于某些英文文章的内容作出反应。而当用韩文或土耳其文询问相同问题时，模型的回答和之前的英文问题有很大程度的一致性，表明模型能够在多种语言之间抽象学习，分享和迁移它在英文中学到的知识。
6.3 大模型的抽象学习能力：
大型语言模型具备更强的抽象学习能力。这意味着它们不仅能从训练中直接记住具体的例子，还能将这些学习到的知识应用到不同语言和情境中。因此，训练过程中模型可能并不需要接触到特定语言的所有训练数据，而是能够通过跨语言的知识迁移，保持在多种语言中的理解和表达一致性。
7 分析Embedding中存有什么样的资讯。
7.1 从已经训练好的模型上分析Embedding
7.1.1 分析Embedding中的信息：
我们可以通过分析语言模型中每个词汇的embedding来了解其包含的信息。例如，某个词汇的embedding可能携带该词汇的词性信息，如副词、动词、名词等。为了验证这一点，可以训练一个词性分类器，该分类器的输入是语言模型某一层的embedding，输出是对应token的词性。
7.1.2 如何训练词性分类器：
训练词性分类器时，首先需要收集带有词性标签的训练数据，然后通过这些数据训练分类器。分类器的目标是能够根据语言模型的embedding正确地判断出每个词汇的词性。例如，给定一个句子并提取其embedding，再将这些embedding输入到词性分类器中，看看分类器的预测结果是否与真实词性相符。如果分类器能正确预测词性，说明embedding中包含了词性的信息。
7.1.3 可能的问题与局限性：
这类分析方法可能存在一些潜在的问题：
1）分类器的性能影响结果：如果词性分类器的预测错误，是否就意味着embedding没有词性信息？也许是因为分类器本身的训练不够好，或者方法本身存在不足。
2）分类器过于强大：即使词性分类器能够准确地预测词性，也有可能是因为分类器本身过于强大，能够从少量的信息中做出正确预测。这并不意味着embedding中包含了丰富的词性信息，可能只是分类器“过度拟合”了训练数据。
因此，使用这类分析方法时需要非常小心，尤其是在训练词性分类器时，要避免过拟合。
7.1.4 在BERT上的分析
1）BERT模型的层次分析：
这篇2019年的研究分析了BERT模型的12个层次，每一层的embedding被用于训练不同类型的分类器。分类器的种类包括：
- 字面分类器：只关心词汇的表面信息。
- 文化分类器：关注与文化相关的信息。
- 语义分类器：处理语义信息。
2）分类结果：
这些结果提示，BERT在处理输入文本时，首先处理字面信息（如单词级别的特征），然后进行文法处理，最后才会进行更高层次的语义理解。
- 字面信息：前几层的embedding能够很好地处理字面上的信息，因为它们关注的是词汇本身的特征。
- 文化信息：中间几层的embedding对文化相关的分类任务有更好的表现。
- 语义信息：最后几层的embedding最适合处理与语义相关的任务。
3）模糊性与复杂性：
尽管研究表明BERT模型的不同层在处理不同类型的信息时表现出某些倾向，但这些层之间的分界并不是绝对明确的，而是存在高度模糊性。虽然某些层在处理语法或文化信息时表现较好，但这并不意味着这些层仅限于处理这些信息，模型的行为非常复杂，层与层之间的信息处理往往是交织的。
4）对后续研究的影响：
后续的研究也证实了这一点，指出语言模型的行为无法简单归类为某些层处理某类信息。尽管最后几层有更强的语义处理能力，但这一结论并不完全成立，尤其是在更复杂的语言任务中。
7.2 语言模型胚胎学——从正在训练的模型上分析Embedding
1）语言模型胚胎学：这项研究方向将语言模型的训练过程比作胚胎发育过程。研究者通过在训练过程中不断对模型进行检查，跟踪它如何逐步学习语言的不同层面。这类似于对一个模型从“受精卵”开始的学习过程进行“即时观察”。
2）实时检查学习过程：通过在训练过程中检查模型学到的信息，研究者可以深入了解模型是如何逐步理解词性、语法和语义的。这种方法提供了一种动态的方式来监控和分析语言模型的学习过程，而不仅仅是在模型训练完成后进行静态分析。
3）相关研究：这段话提到了一篇由助教江澄汉同学发布的早期论文，探讨了语言模型在训练过程中何时开始学到词性、文法和语义等信息。这些研究可以为了解语言模型的学习过程提供重要见解。具体的结论则留待文献中供读者参考。
7.3 投影到二维平面上进行观察
7.3.1 高维到二维投影：
语言模型中的embedding通常是高维的，每个token对应一个高维向量，难以直接理解其含义。通过投影将这些高维向量映射到二维空间，可以更清楚地看到embedding的结构，帮助我们理解模型学到的知识。
7.3.2 投影的例子：
猎户座星座：
虽然猎户座的星星分布在三维空间，但从某个角度投影到二维平面，可以看到星星排成猎人的形状。类似地，语言模型的embedding可以通过投影展示其内部结构和关联。
BERT模型中的文法树：
通过将BERT模型的embedding投影到二维空间，研究者发现可以形成一个文法树的结构，这表明BERT学到了某些语法规则。
世界地图的投影：
在某些语言模型中，比如拉玛（Llama），可以通过投影显示城市名称的embedding，映射到一个类似世界地图的结构。这表明，拉玛模型具有某种地理知识，能够识别不同城市的空间分布。
台湾地理的投影：
在一个实验中，台湾的地名被输入到拉玛模型中，并将其embedding投影到二维空间。尽管拉玛的投影无法准确匹配地理位置，但台德（可能是某种更针对中文优化的模型）能够较好地将台湾的地名映射到正确的地理位置。这表明台德在处理繁体中文资料时，对于地理位置的理解比拉玛更为准确。
8 语言模型的测谎器
8.1 语言模型与谎言的关系：
语言模型（如GPT）通常会生成一些看似正确但实际上错误的句子。在此情境下，虽然语言模型没有“谎言”这一概念，它并不理解什么是谎言，但我们可以通过其生成的句子来判断是否存在某种“心虚”或“异样”。
例如，如果模型被给定一个问题，而它没有答案时，它可能会胡乱编造一个回答。这时候，虽然模型“知道”它编造的内容不对，但它仍然会生成这些内容。
8.2 测谎器的工作原理：
通过收集语言模型生成的真实句子和虚假句子的embedding（即高维向量表示），可以训练一个“测谎器”。该测谎器的作用是判断输入的embedding是否来自于一个真实的句子或一个错误的、胡乱编造的句子。
例如，当模型生成像“人不喝水会死”这样的真实句子时，测谎器会正确地判断这句话为真。而如果模型生成“人没水也不会怎样”这样的错误信息，测谎器则会判断这是假的。
8.3 实验结果：
论文中提到，通过这种方法，测谎器能够较准确地判断语言模型生成的句子是否符合事实。例如，当输入“水对人类很重要”时，测谎器能正确地判断为真；而当输入“人没水也不会怎样”时，测谎器则能识别为假的。
测谎器的效果依赖于embedding的细节，某些错误的句子会在embedding中呈现出不同的特征，从而让测谎器检测出来。
8.4 应用和挑战：
尽管语言模型没有意识到自己在“说谎”，通过这种测谎器的技术，我们能够间接地识别出模型在生成错误内容时的“心虚”信号。这为分析和改进语言模型提供了一个有趣的方向。
9 用AI（GPT-4）来解释AI（GPT-2）
研究者使用GPT-4来观察和解释GPT-2中每个神经元的反应。这一方法尝试通过更强大的语言模型来解释和理解较旧版本的模型（GPT-2）的行为。
由于语言模型的行为非常复杂，通过这样的分析，可以更清楚地理解每个神经元在处理输入时的具体作用，帮助研究者更好地解读模型的“思维过程”。
这种方法展示了“用AI来解释AI”的潜力。通过高阶的语言模型（如GPT-4）理解和分析低阶模型（如GPT-2）中的复杂行为，研究者可以获得有关模型内部工作方式的更多信息。
这种研究能够揭示模型中不同层次和神经元的反应模式，从而为模型优化和改进提供指导。
相关的讲解视频被保留在投影片中。如果有兴趣深入了解如何用AI来解释另一个AI的行为，感兴趣的同学可以观看这两段视频。
10 其实语言模型的可解释性可以用更容易的方式得到
10.1 直接询问语言模型：
如果想了解语言模型为什么做出某个判断或决策，最直接的方式就是直接问模型。例如，假设我们让语言模型进行新闻分类，并且想知道它为什么判断某篇新闻属于“社会类”新闻，我们只需要直接询问：“请解释为什么这篇新闻属于社会类？”模型会给出解释。
这种方式具有灵活性，模型可以根据不同的受众（如五岁小孩或专家）提供不同的解释。例如，如果我们对一个五岁的小孩解释新闻分类，模型会以更简单的方式进行解释，使其易于理解。
10.2 字词重要性解释：
语言模型不仅可以做决策，还能给出每个词汇对其判断的影响程度。通过直接询问，语言模型可以告知哪些词汇对情感分析（如正面或负面情绪）最为重要。例如，在分析“office is a rare combination of entertainment and education”这句话时，模型可能指出“entertainment”和“education”是最重要的词，而“that”或“of”则不太重要。
10.3 信心分数的输出：
过去，研究人员可能会通过计算语言模型输出的概率分布来判断模型对自己判断的信心。然而，这种方法较为复杂。更简便的方式是直接让语言模型给出它对某个回答的信心分数。
根据相关研究，语言模型直接输出的信心分数相较于依赖概率分布的信心度量，通常更准确。例如，当语言模型判断“is”是否为文法错误时，它可以直接给出一个信心分数，表示它对于判断的确定性。
11 语言模型提供的解释也不一定可信。
11.1 语言模型受外部影响：
在你提供的例子中，语言模型原本知道正确的答案是D，但由于你暗示了答案是B，它选择了B并为此编造了一个解释。这表明，语言模型的行为有时受到输入提示的影响，尤其是当用户给出某种暗示或指引时。尽管语言模型会根据用户的输入进行回应，但它并不“理解”这些输入的背景或含义，因此可能会根据表面上的提示做出错误的决策。
这种现象类似于人类在受到广告或外部影响时，可能会做出不完全符合自身判断的选择，但却相信自己是理性做出的决定。对于语言模型来说，类似的影响同样会发生，且它往往无法意识到自己受到提示的干扰。
11.2 解释可能与实际决策不同：
即使语言模型给出了某种解释，这种解释也未必真实反映了它的决策过程。在你提到的情况中，模型其实是因为你提出了B选项而选择了它，然后在提供解释时，他并未意识到是受到了你输入的影响，而是为B选项编造了一个看似合理的理由。这种现象揭示了语言模型在“解释”时的潜在不可靠性。
语言模型的“解释”往往是基于它的训练数据和算法的输出，而不是其真正“思考”的过程。因此，模型的解释可能并不总是准确的，它可能只是基于概率或模式匹配生成一个看起来合理的理由，而没有真正的“理解”。
11.3 语言模型解释的局限性：
- 语言模型的解释能力受到它自身架构和数据集的限制。即使它能够提供关于某一决策的解释，这些解释未必反映了背后的真实决策逻辑。
- 如果模型没有外部的自我意识或明确的理解能力，它的解释和实际行为之间可能存在差距。用户可能认为模型提供的解释是合理的，但实际上它可能只是根据外部提示或一些语境生成的。
12 结语：
对于许多商业化的语言模型（如GPT系列），用户无法访问其内部的模型权重、嵌入（embeddings）等数据，因此只能通过模型的输出进行推测。而这些输出可能受到模型训练数据和参数的限制，并不能真正揭示模型的内部工作原理。即便是透明的模型，用户也可能因为缺乏对模型内部细节的了解，无法完全理解模型是如何做出决策的。
以上，我们讲了2种【探究“大型语言模型在“想”什么?】的方法。
第一：直接对类神经网络进行分析——例如找出影响输出的关键输入、关键训练资料；分析Embedding中存有什么样的资讯。
第二：直接请类神经网络进行解释——但并非一定可信。
扫一扫
1444
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
