本文是LLM系列文章,针对《LaMDA: Language Models for Dialog Applications》的翻译。 LAMDA:对话应用程序的语言模型 摘要 1 引言 2 相关工作 3 LaMDA预训练 4 度量 5 LaMDA微调和评估数据 6 LAMDA微调 7 基础评价指标的结果 8 领域基准 9 讨论与局限性 10 LaMDA的能源和碳足迹估算 11 结论 摘要 我们介绍了LaMDA:对话应用程序的语言模型。LaMDA是一个专门用于对话的基于Transformer的神经语言模型家族,其参数高达137B,并在1.56T的公共对话数据和网络文本单词上进行预训练。虽然单独的模型缩放可以提高质量,但它