2020-3-5 深度学习笔记12 - 深度学习应用 4（其他应用-推荐系统 / 知识表示、推理和回答）

第十二章 应用

中文官网
英文原版

2020-2-29 深度学习笔记12 - 深度学习应用 1（大规模深度学习）
2020-3-1 深度学习笔记12 - 深度学习应用 2（计算机视觉，语音识别）
2020-3-2 深度学习笔记12 - 深度学习应用 3（自然语言处理NLP - n-gram / 神经语言模型NNLM / 高维输出 / 结合 n-gram 和神经语言模型 / 神经机器翻译）

其他应用

1-推荐系统

机器学习主要应用之一是向潜在用户或客户推荐项目。 这可以分为两种主要的应用：在线广告和项目建议（通常这些建议的目的仍然是为了销售产品）。推荐系统可以预测一些行为的概率（用户购买产品或该行为的一些代替）或预期增益（其可取决于产品的价值）。

通常，这种关联问题可以作为监督学习问题来处理：给出一些关于项目和关于用户的信息，预测感兴趣的行为（用户点击广告、输入评级、点击”喜欢”按钮、 购买产品，在产品上花钱、花时间访问产品页面等）。 算法最终会归结到回归问题（预测一些条件期望值）或概率分类问题（预测一些离散事件的条件概率）。

早期推荐系统的工作依赖于这些预测输入的最小信息：用户ID和项目ID。 在这种情况下，唯一的泛化方式依赖于不同用户或不同项目的目标变量值之间的模式相似性。 假设用户1和用户2都喜欢项目A，B和C. 由此，我们可以推断出用户1和用户2具有类似的口味。 如果用户1喜欢项目D，那么这可以强烈提示用户2也喜欢D。 基于此原理的算法称为协同过滤。

第一次用于协同过滤的神经网络之一是基于RBM的无向概率模型 。

但是，协同过滤系统有一个基本限制：当引入新项目或新用户时，缺乏评级历史意味着无法评估其与其他项目或用户的相似性，或者说无法评估新的用户和现有项目的联系。 这被称为冷启动推荐问题。 解决冷启动推荐问题的一般方式是引入单个用户和项目的额外信息。 例如，该额外信息可以是用户简要信息或每个项目的特征。 使用这种信息的系统被称为基于内容的推荐系统(content-based recommender system)。 从丰富的用户特征或项目特征集到嵌入的映射可以通过深度学习架构学习。

当向用户推荐时，会产生超出普通监督学习范围的问题，并进入强化学习（ reinforcement learning）的领域。

强化学习需要权衡探索与利用。

（1） 利用指的是从目前学到的最好策略采取动作，也就是我们所知的将获得高奖励的动作。
（2） 探索是指采取行动以获得更多的训练数据。

如果我们知道给定上下文$x$，动作$a$给予我们1的奖励，但我们不知道这是否是最好的奖励。 我们可能想利用我们目前的策略，并继续采取行动$a$相对肯定地获得1的奖励。 然而，我们也可能想通过尝试动作$a’$来探索。 我们不知道尝试动作$a’$会发生什么。 我们希望得到2的奖励，但有获得0奖励的风险。 无论如何，我们至少获得了一些知识。

监督学习在探索或利用之间没有权衡&#x