量子位 | 时隔6年BERT升级！仅编码器架构没被杀死，更快更准确更长上下文

本文来源公众号“量子位”，仅用于学术分享，侵权删，干货满满。

原文链接：时隔6年BERT升级！仅编码器架构没被杀死，更快更准确更长上下文

时隔6年，一度被认为濒死的“BERT”杀回来了——

更现代的ModernBERT问世，更快、更准、上下文更长，发布即开源！

去年一张“大语言模型进化树”动图在学术圈疯转，decoder-only枝繁叶茂，而曾经盛极一时的encoder-only却似乎走向没落。

ModernBERT作者Jeremy Howard却说：

encoder-only被低估了。

他们最新拿出了参数分别为139M（Base）、395M（Large）的两个模型，上下文长度为8192 token，相较于以BERT为首的大多数编码器，其长度是它们的16倍。

ModernBERT特别适用于信息检索（RAG）、分类、实体抽取等任务。

在检索、自然语言理解和代码检索测试中性能拿下SOTA：