本文是LLM系列文章,针对《LaMDA: Language Models for Dialog Applications》的翻译。
LAMDA:对话应用程序的语言模型
摘要
我们介绍了LaMDA:对话应用程序的语言模型。LaMDA是一个专门用于对话的基于Transformer的神经语言模型家族,其参数高达137B,并在1.56T的公共对话数据和网络文本单词上进行预训练。虽然单独的模型缩放可以提高质量,但它在安全性和事实基础方面的改进较少。我们证明,通过注释数据进行微调,并使模型能够咨询外部知识来源,可以显著改善安全性和事实基础这两个关键挑战。第一个挑战是安全,涉及确保模型的响应符合一系列人类价值观,例如防止有害的建议和不公平的偏见。我们使用基于一组说明性人类价值观的指标来量化安全性,我们发现使用LaMDA分类器过滤候选响应,该分类器使用少量众包注释数据进行微调,为提高模型安全性提供了一种很有前途的方法。第二个挑战,事实基础,涉及使模型能够参考外部知识来源,如信息检索系统、语言翻译器和计算器。我们使用基础性度量来量化事实性,我们发现我们的方法使模型能够生成基于已知来源的响应,而不是听起来合理的响应。最后,我们探讨了LaMDA在教育和内容推荐领域的使用,并分析了它们的有用性和角色一致性。