Facebook的对话预训练模型Blender Recipes for building an open-domain chatbot

Blender是Facebook人工智能研究（FAIR）开源的英文对话预训练模型，论文发表在2021年的EACL，该工作提供了90M，2.7B和9.4B参数训练的不同体系结构供大家使用，能够方便地构建对话系统。Blender在对话生成方面表现的非常卓越，能够在几乎任何主题上进行各种各样的对话，同时展现出类似人的特征，例如同理心和个性化。因而我们在这里详细介绍一下该工作的细节。

论文：https://arxiv.org/abs/2004.13637
Facebook官方代码：https://github.com/facebookresearch/ParlAI
Huggingface代码（使用最多）：https://github.com/huggingface/transformers

目录

摘要：

1. 引言

2. 模型框架

2.1 检索框架

2.2 生成框架

2.3 检索和优化框架

3. 训练目标

3.1 检索排序

3.2 生成的似然训练

3.3 ​编辑混合的检索和优化 

3.4 生成的非似然训练

4. 解码

4.1 波束搜索

4.2 采样

4.3 响应长度

4.4 子序列阻塞

5. 训练细节

6. 训练数据

6.1 预训练

6.2 微调

7. 安全特性

8. 评估方法

9. 相关工作

10. 结果与分析

10.1 自动评估方法

10.2 自我对话的评估

参考文献

---

摘要：

构建开放域聊天机器人是机器学习研究的一个富有挑战性的领域。虽然之前的工作表明，扩大神经模型的参数数量和训练数据大小可