OpenAI官宣开源Transformer Debugger！

刚刚，OpenAI超级对齐团队负责人官宣开源Transformer调试器。研究人员不用写代码，就能快速探索LLM的内部构造了！

这项工作，是用GPT-4来分析GPT2中输入和输出之间的对应关系，从而推断各个神经元可能承担什么语言特征编码职责，如词性、句法结构、上下文关系等。如果去掉某个神经元后，模型处理名词短语能力明显下降，说明这个神经元很可能与名词短语编码相关，通过这种方法可以让我们更好探究黑箱模型的一些内在逻辑,从而更好地理解它是如何工作的,在一定程度上提高了模型的可解释性和透明度。openai开源这个工具对整个人工智能领域研究做出了贡献。