[论文阅读] 对话式推荐系统的进展与挑战：综述(Advances and Challenges in Conversational Recommender Systems: ASurvey)-01

0. 序言

本文主要对何向南、高崇民等老师的关于对话式推荐系统(CRS)综述文章 Advances and Challenges in Conversational Recommender Systems: A Survey  的学习。

1. 论文摘要

推荐系统已经在大量的行业应用中被广泛的使用，然而传统的推荐系统 (静态推荐) 由于其固有的缺陷（在学习了解用户偏好时没有用户明确的指示和积极的反馈），很难回答好两个重要的问题： （A）用户到底喜欢什么？ （B）用户为什么喜欢这个商品？ 

而最近兴起的会话推荐系统（CRS）可以让用户与系统通过自然语言进行动态的交互，十分有利于获取用户确切的偏好。即使在开发CRSs上投入了大量的精力，但现有的CRS模型、技术等还不成熟。本文将发展CRSs面临的主要挑战归纳为五个方面：

1. Question-based User Preference Elicitation. 问题导向的用户偏好启发
2. Multi-turn Conversational Recommendation Strategies 多轮对话策略
3. Natural Language Understanding and Generation 自然语言理解与生成
4. Trade-offs between Exploration and Exploitation (E&E) 探索和利用问题
5. Evaluation and User Simulation 评估和用户模拟

这些研究方向还涉及信息检索(IR)、自然语言处理(NLP)和人机交互(HCI)等多个研究领域。基于本文，希望对未来的研究有所帮助。

2. 背景

一个有效的、准确的、及时的推荐系统可以帮助用户找到想要的信息，给企业带来巨大的价值。 因此，推荐技术的发展一直受到学术界和工业界的关注。

传统的推荐系统(静态推荐模型)主要通过分析用户过去的离线行为(如点击历史、访问日志、对物品的评级)来预测用户对物品的偏好。其经过训练的离线的历史行为数据，然后，它被用来为在线用户提供服务。尽管它们被广泛使用，但它们没有回答两个重要的问题：

A. 用户到底喜欢什么？

1. 静态模型的学习过程通常是基于历史数据进行的，历史数据可能是稀疏的和噪声的。
2. 静态模型的一个基本假设是所有历史交互都代表用户偏好。首先，用户可能不喜欢他们选择的项目，因为他们可能会做出错误的决定。其次，用户的偏好可能会随着时间的推移而漂移，这意味着用户对物品的态度可能会改变，从过去的数据中捕捉漂移的偏好甚至更难。
3. 对于很少有历史交互的冷用户，很难根据数据建模他们的偏好。

B. 用户为什么喜欢某个物品？

1. 影响用户决策的因素很多。 例如，用户可能因为好奇或受他人影响而购买产品，或者这可能是经过深思熟虑的结果。
2. 不同的用户购买相同的产品是很常见的，但他们的动机是不同的。因此，平等对待不同的用户或平等对待同一用户的不同交互，对于一种推荐的范式来说是不合适的。 在现实中，静态模型很难理清用户消费行为背后的不同原因。

作者认为关键困难源于内在机制：交互建模的静态模式从根本上限制了用户意图的表达方式，造成了用户和机器之间的信息不对称障碍（an asymmetric information barrier）。 CRS的出现深刻的改变了现状。

3. CRS的定义

A recommendation system that can elicit the dynamic preferences of users and take actions based on their current needs through real-time multiturn interactions using natural language.

一种推荐系统，可以通过使用自然语言的实时多轮交互，从而激发用户的动态偏好，并根据用户的当前需求采取行动。

定义强调了CRSs的两个特性: 一种是多轮互动，另一种是自然语言。CRS的示例如下：

自推荐系统问世以来，研究人员已经意识到人机交互的重要性，提出了交互式推荐系统。通过用户的实时反馈来改进在线推荐策略，但往往效率低下，因为商品的数量太多了。

一种解决方案是利用项目的属性信息，这对于理解用户的意图是不言而喻的，并且可以快速地缩小候选商品的范围。 基于评论的推荐系统就是这样一种解决方案，它的设计目的是引起用户对某些属性的反馈，而不是对物品的反馈。 它可以被视为CRSs的早期形式。

评论就像销售人员通过主动询问商品属性来收集用户偏好一样。 比如在寻找某个手机的时候，用户可以遵循系统的提示，并且给出反馈比如“更便宜”或“更长的电池寿命”。 根据这些反馈，系统将推荐更合适的项目；此过程重复几次，直到用户找到满意的项目或放弃。 该机制提高了系统推断用户偏好的能力，并有助于快速缩小推荐候选人的范围

现有的交互式和批注方法尽管有效，但受其表示能力的限制，用户只能通过一些预定义的选项与系统进行交互。 对话模块在CRS中的集成可以进行更灵活的交互，例如以标签，模板话语等自然语言的形式。 毫无疑问，通过对话形式可以更自然地表达和理解用户的意图。

今年来，关于CRS的相关论文收集共计148篇。

虽然已经有很多关于CRSs的研究，但还没有统一的任务描述。 Jannach等人对CRSs进行了调查，并根据使用知识来源或交互模式等方面对方法进行了分类。 例如基于格式或自然语言的方法，或由系统或用户驱动。

目前，一些研究者关注CRSs的对话能力，试图建立基于端到端(end-to-end)对话系统或深层语言模型(deep language models)的模型。 然而，这些模型的目的是学习人类对话语料库中的模式，而且通常是不透明的，很难解释。 端到端方法在推荐和响应生成方面的人工评估效果不佳。 因此，一个明确的会话策略是必要的，需要大量的研究工作。

4. CRS 的通用框架

作者将所有CRS作为一个通用框架提出了，由下图所示的三个解耦组件组成：具体地，CRS由用户界面、会话策略模块和推荐引擎组成。

• 用户界面（user interface）充当用户和机器之间的翻译器；通常，它从用户的原始话语中提取信息并将该信息转换为机器可理解的表示，并且它基于会话策略向用户生成有意义的响应。
• 会话策略模块（conversation strategy module）是CRS的大脑，协调其他两个组件； 它决定了CRS的核心逻辑，如引出用户偏好、保持多话轮会话、引导新话题等。
• 推荐引擎（recommendation engine）负责对实体之间的关系进行建模（例如，用户-物品交互或物品-物品链接），学习和记录用户对物品和物品属性的偏好，并检索所需的信息。

具体将面对以下五个主要挑战：

1. Question-based User Preference Elicitation. 问题导向的用户偏好启发

        CRSs提供了通过询问属性问题来明确地引出用户偏好的机会。 有两个重要问题需要回答：(1)问什么？以及(2)如何根据用户反应调整推荐？ 前者侧重于构造问题，以获取尽可能多的信息；后者利用用户反馈中的信息来提出更合适的建议。

     2. Multi-turn Conversational Recommendation Strategies 多轮对话推荐策略

        该系统需要与用户反复交互，并在多个轮次中动态适应用户的响应。 一种有效的策略涉及何时提问和何时提出推荐，即让模型在(1)继续提问以进一步减少偏好不确定性和(2)根据当前对用户偏好的建模生成推荐之间进行选择。 一般来说，系统的目标应该是使用最少的对话次输进行成功的推荐，因为用户在轮次过多后会失去耐心。 此外，一些复杂的会话策略试图主动引导对话，这可以在CRSs中引入不同的话题和任务。

     3. Natural Language Understanding and Generation 自然语言理解与生成

        人一样沟通仍然是CRSs最困难的挑战之一。 为了理解用户的兴趣和意图，一些CRS方法将模型输入定义为捕获的语义信息和用户偏好的预定义标签。 一些方法通过槽填充技术（ slot filling techniques）从用户的原始话语中提取语义信息，并以槽值对（ slot-value pairs）表示用户意图。 为了生成人类可理解的响应，CRSs使用许多策略，例如直接提供推荐列表，将推荐物品合并到基于规则的自然语言模板中。 此外，一些研究人员提出了end-to-end的框架，以使CRSs能够准确地从原始自然语言中理解用户的情感和意图，并产生可读、流利、一致和有意义的自然语言响应。

     4. Trade-offs between Exploration and Exploitation (E&E) 探索和利用问题

        Exploitation：根据当前信息，由训练的模型做出最佳的决策。
        Exploration：探索未知的领域，比如在某个state执行之前在这个state没有执行的action。
        所以做exploitation和exploration的目的就是获得一种长期收益最高的策略，这个过程可能对short-term reward有损失。如果exploitation太多，那么模型比较容易陷入局部最优，但是exploration太多，模型收敛速度太慢。这就是exploitation-exploration困境。

     5. Evaluation and User Simulation 评估和用户模拟

        与基于离线数据优化的静态推荐模型不同，CRSs强调动态交互过程中的用户体验。 因此，我们不仅要考虑推荐和响应生成的轮级评价，还要注意会话级评价。

        评价crs需要大量的在线用户交互，而获取这些交互代价昂贵。 因此，使用模拟用户是必要的。 开发可靠的用户模拟器是具有挑战性的，而且仍然是一个悬而未决的问题。

5. 小结

本文对 文章的基本概述、CRS的基本定义、通用框架及其所面对的五个主要挑战概述进行学习。