谷歌开源 BERT：最先进的 NLP 预训练技术，支持中文和更多语言

谷歌本周开源了一种 NLP 预训练新技术Bidirectional Encoder Representations from Transformers（BERT）。此次发布的版本中，世界上任何人都可以在一个云 TPU 上花费大约 30 分钟，或使用单个 GPU 在几个小时内训练他们自己最先进的问答系统（或各种其他模型）。该版本包括在 TensorFlow 之上构建的源代码和许多预先训练的语言表示模型。在我们的相关论文中，展示了包括斯坦福问答数据集（SQUAD v1.1）在内 11 个 NLP 任务的最新结果 …

为了评估性能，将 BERT 与其他最先进的 NLP 系统进行了比较。实验中，几乎没有针对特定任务而对神经网络架构进行更改。在 SQuAD v1.1 上，BERT 获得了 93.2％ 的 F1 分数（一种准确度的衡量指标），超过了之前最高水准的分数 91.6％ 和人类分数 91.2％。

… 点击此处阅读原文