论文略读：Uncovering Hidden Representations in Language Models

202502 arxiv

说一下主要结论吧

• 对于下游任务，语言模型的中间层在所有架构和任务中始终优于最后一层
  • 这挑战了使用最后一层表示的传统观点。
  • 
• 不同的架构表现出不同的信息压缩模式。自回归模型在中间层存在瓶颈，而双向模型则保持更均匀的趋势
  • 
    • BERT通过双向编码整个输入，通常在各层之间保持较高的熵值，这表明压缩较少
      • 模型可以一次看到所有的token，因此不需要丢弃太多信息
    • 只有解码器的Pythia展示出一个明显的中层熵值下降
      • 反映出其自回归目标在网络中部倾向于过滤或剪枝非本地细节
      • 因此，Pythia的“最佳状态”通常位于中间深度，在这里它平衡了必要的上下文和压缩
    • Mamba通过状态空间方法处理序列，导致其在深度上的曲线更为平坦和均匀
      • 它既不像BERT那样保持大量信息，也不像Pythia的中间层那样进行激烈的压缩
• 较大的decoder-only模型表现出更明显的中间压缩
  • 这表明它们在提炼相关特征方面的能力增强