我和新的 Facebook Blender 聊天机器人对话

Facebook 新聊天机器人 Blender 测评：真实对话，个性鲜明该视频介绍了 Facebook 最新发布的开源聊天机器人 Blender，并对其进行了实测。Blender 基于 Transformer 架构，经过大规模 Reddit 数据预训练，并使用“混合技能任务”进行微调。
混合技能任务
包含三个子任务：1.保持一致的个性：
聊天机器人需要在对话中保持一致的个性，例如视频中出现的“素食主义者”和“健身爱好者”。
2.同理心：
聊天机器人需要展现对对话者的情感理解，例如视频中出现的“社会主义者”和“资本主义者”的对话。
3.事实性话题讨论：
聊天机器人需要能够准确地讨论事实性话题，例如视频中关于 Fallout 游戏系列的讨论。视频作者认为，Blender 在这三个方面都表现出色，甚至通过了图灵测试。他与 Blender 进行了一系列对话，展现了其真实、个性化、信息准确的特点。
视频中还提到了以下几点：
Blender 的训练数据来自 Reddit，因此可能存在一定的积极偏见。
Blender 拥有一个安全过滤器，可以屏蔽不当言论，但可以手动关闭。
Blender 的模型参数量高达 90 亿，因此需要较长的推理时间。
Blender 的代码和预训练权重已开源，可以在 Parley 平台上进行测试。
总体而言，Blender 是一款非常有趣的聊天机器人，展现了当前自然语言处理技术在对话生成方面的巨大进步。
尽管仍存在一些局限性，但它已经能够与人类进行相当真实的对话，并展现出鲜明的个性。

这就是一个拥有 90 亿参数的 Transformer 可以做的事情。我查看了 FAIR 的一篇新论文“构建开放域聊天机器人的秘诀”，并尝试了他们的聊天机器人！跳转到 3:00 观看聊天机器人演示。论文：https://arxiv.org/abs/2004.13637博客：https://ai.facebook.com/blog/state-of-the-art-open-source-chatbot/代码：https://parl.ai/projects/blender/
摘要：构建开放域聊天机器人是机器学习研究中的一个具有挑战性的领域。虽然之前的工作表明，在参数数量和训练数据规模上扩展神经模型可以获得更好的结果，但我们发现其他因素对于构建高性能聊天机器人也很重要。良好的对话需要多种技能，而熟练的对话者可以无缝地将这些技能融合在一起：提供引人入胜的话题并倾听他们的伙伴，并适当地展现知识、同理心和个性，同时保持一致的性格。我们发现，当提供适当的训练数据和生成策略选择时，大型模型可以学习这些技能。我们使用 9000 万、27 亿和 94 亿参数模型构建了这些秘诀的变体，并将我们的模型和代码以 Blender 的集体名称公开发布。人工评估表明，我们的最佳模型在多轮对话中，在参与度和人性化测量方面优于现有方法。然后，我们通过分析模型的失败案例讨论了这项工作的局限性。