OpenAI推出了Transformer Debugger（TDB）

Open AI近期在公众舆论中面临了不小的质疑，但值得欣慰的是，他们终于迈出了开源的步伐，推出了Transformer Debugger这一革命性的工具。Transformer Debugger（TDB）是Superalignment团队开发的一款工具，旨在支持对小型语言模型特定行为的研究。该工具将自动化解释技术与稀疏自动编码器相结合，实现了无需编写代码即可快速探索模型的能力。

TDB可以在前向传播过程中进行干预，观察这一干预如何影响特定行为，从而回答诸如“为什么模型在这个提示下输出的是标记A而不是标记B？”或“为什么注意力头H会在这个提示下关注标记T？”等问题。它通过识别对行为产生贡献的特定组件（如神经元、注意力头和自动编码器潜在变量），展示这些组件激活最强的自动生成解释，并追踪组件之间的连接，从而帮助发现神经网络中的“电路”。

Transformer Debugger不仅能够精准捕捉神经网络中的神经元动态，还能对关注焦点（Attention Heads）进行细致入微的分析。更令人振奋的是，用户可以在模型的前向传播过程中实时干预，例如移除某个特定的神经元，并直观地观察这一操作对最终结果的微妙影响。

简而言之，Transformer Debugger为我们提供了一种前所未有的方式，使我们能够像探索电路一样，手动发现和理解神经网络中的“功能模块”以及它们之间的复杂联系。这不仅有助于我们更深入地理解模型的工作原理，还为模型的优化和调试提供了强大的支持。

github

按照以下步骤安装repo。你首先需要python/pip，以及node/npm。

虽然是可选的，但我们建议您使用虚拟环境或同等环境:

# If you're already in a venv, deactivate it.
deactivate
# Create a new venv.
python -m venv ~/.virtualenvs/transformer-debugger
# Activate the new venv.
source ~/.virtualenvs/transformer-debugger/bin/activate

设置好环境后，请执行以下步骤:

git clone git@github.com:openai/transformer-debugger.git
cd transformer-debugger


# Install neuron_explainer
pip install -e .

# Set up the pre-commit hooks.
pre-commit install

# Install neuron_viewer.
cd neuron_viewer
npm install
cd ..