Gemma Scope 帮助理解 AI 模型的内部工作原理

Gemma Scope 工具如何帮助理解 AI 模型（具体来说是 Gemma 模型）的内部工作原理，通过观察模型的“特征”来理解 AI 是如何“思考”的

1 特征（features）

了解AI模型在思考什么。Gemma Scope 将 Gemma 模型的大脑分解成数百万个部分，这些部分被称为“特征”（features）。特征是AI的大脑在看到某个特定概念或想法时被激活的东西。比如，当你给AI发送“我喜欢猫”的信息时，它会激活AI大脑中的“关于猫的词语”这一特征。

2 特征是如何被激活

帮助用户更直观地理解特征是如何被激活的。

政策简报强调了城市交通规划中的关键问题，为减少交通拥堵和改善大都市地区的公共交通系统提供了循证建议。

这段话激活了大模型中若干个的特征。其中排第一个的是如下图右侧第一个

公共交通与城市发展相关信息

下图是该特征的详细说明

Gemma Scope 中的“特征”（features）会有一些标签，比如“关于伦敦的提及”。这些标签是通过让另一个更大的AI模型去分析文本中的模式生成的。这些模式是特征在某些文本中最强烈激活的内容，称为“Top Activations”（最强激活）。通过观察特征的最强激活内容，找出其中的模式，然后为这个特征打上一个标签。

Gemma Scope通过将AI的复杂计算过程分解成简单的特征，帮助用户理解AI在处理不同输入时的反应。特征可以理解为AI识别某个特定概念时大脑中的某种反应或激活模式。用户可以通过给Gemma发送句子来实际观察这些特征的激活情况，进一步了解AI的思维方式。
当你向一个语言模型提问时，它会将你的文本输入转化为一系列“激活”（activations）。这些激活映射了你输入的单词之间的关系，帮助模型在不同单词之间建立联系，并利用这些联系生成答案。

随着模型处理文本输入，模型神经网络中不同层次的激活代表了多个越来越高级的概念，称为“特征”（features）。

例如，模型的早期层次可能学习到像“迈克尔·乔丹打篮球”这样的事实，而后期层次可能识别出更复杂的概念，如文本的真实性。

插图：使用稀疏自动编码器解释模型在回忆“光之城是巴黎”这个事实时的激活。我们看到与法国相关的概念存在，而不相关的概念则不存在。

然而，解释性研究人员面临一个关键问题：模型的激活是许多不同特征的混合。在机械可解释性的早期，研究人员希望神经网络激活中的特征能与个别神经元（即信息节点）对齐。但实际上，神经元通常会对许多不相关的特征产生响应。这意味着没有明显的方法可以判断哪些特征是激活的一部分。

这就是稀疏自动编码器的用武之地。

一个给定的激活通常只会是少量特征的混合，尽管语言模型可能能够检测到数百万甚至数十亿个特征——也就是说，模型稀疏地使用特征。例如，语言模型在回答关于爱因斯坦的问题时会考虑相对论，但在讨论煎蛋时可能不会考虑相对论。

稀疏自动编码器利用了这一事实，发现了一组可能的特征，并将每个激活分解为少量的这些特征。研究人员希望，稀疏自动编码器完成这一任务的最佳方式是找到语言模型实际使用的底层特征。

重要的是，在这个过程中，我们——研究人员——不会告诉稀疏自动编码器要寻找哪些特征。这样一来，我们能够发现一些我们未曾预料到的丰富结构。然而，由于我们无法立即知道这些发现特征的具体意义，我们需要在稀疏自动编码器认为某个特征“触发”时的文本示例中寻找有意义的模式。

3 利用Gemma模型的“特征”来改变或引导它的响应

通过操控或放大特定的“特征”（features），你可以让Gemma模型给出不同的回应。这个过程可以被比喻为“手术式”地改变Gemma的思维方式，而不仅仅是直接告诉Gemma该做什么。这种方式尝试在更深层次上影响AI的行为，而不仅是简单的命令式控制。

可以选择一个你想要操控的特征，以及操控的强度，然后与Gemma进行对话。你可以通过这些特征引导Gemma的思维过程，从而影响它的回答。

示例对话

• 示例故事1：The flickering streetlight cast long, dancing shadows as the lone figure walked home, their backpack heavy with secrets they couldn't share yet.

  • 这句故事描述了一种神秘且充满隐喻的场景，通过操控特征，可能引导Gemma创作出类似的内容。

• 示例故事2：SF SFSFSFSF SF ContraContra ContraContracontra contra ContracontraContra contra contra ContraSF BART BART BARTSF SF Marin Marin Marin Marin Golden Golden Richmond Richmond

  • 这句故事内容显得有些混乱，可能是在操控了与地点或反复出现的词汇相关的特征后生成的。这表明特征的操控可能会带来意想不到的效果。

尽管目前利用特征进行操控的效果还不够稳定和可靠，但这是解释性AI研究人员希望将来可以用来引导AI模型朝更理想行为发展的众多工具之一。例如，这种技术可以帮助AI模型变得更加诚实或者更符合道德规范。通过操控特征，用户可以尝试影响Gemma模型的行为和响应方式。这是一种更深入、更复杂的AI控制方法，尽管当前技术还不成熟，但它展示了AI模型解释性和可操控性的潜力，未来可能会在实际应用中变得更加有用。

参考地址
https://www.neuronpedia.org/gemma-scope#steer