推荐系统-札记

推荐系统引入

1. 推荐的应用场景

推荐系统来说存在两大场景即评分预测（rating prediction）与Top-N推荐（item recommendation，item ranking）

• 最早：评分预测

1. 输入：用户、物品、打分（UI矩阵）
2. 场景：主要用于评价网站
3. 任务：根据极少的观测数据来较准确的预测未观测数据（图中未知框矩阵补全）
   
4. 算法：基于相似近邻的协同过滤算法、矩阵分解算法…

• 最早：Top-N推荐

1. 输入：用户、物品
2. 算法：基于相似近邻的协同过滤算法、矩阵分解算法…
3. 场景：于购物网站或者一般拿不到显示评分信息的网站，即通过用户的隐式反馈信息来给用户推荐一个可能感兴趣的列表以供其参考。
4. 任务：该场景为排序任务，因此需要排序模型来对其建模。

---

2. 推荐系统的发展(截止2017)

———————————————————————————————————

基于用户与物品的点对点推荐模式

• Top-N推荐

1. 使用去噪自动编码模型（Denoising Autoencoder）进行top-N物品推荐

输入为加入噪声的对于物品的偏好（采纳为1，否则为0）

输出为用户对于物品的原始评分

通过学习非线性映射关系来进行物品预测。

用户可见的评分数据通过加上噪音后进入输入层，然后通过非线性映射形成隐含层，在由隐含层经映射后重构评分数据。其中，该模型中加入了用户偏好表示(User Node)和偏置表示(Bias Node)

文献：Yao Wu, Christopher DuBois, Alice X. Zheng, Martin Ester. Collaborative Denoising Auto-Encoders for Top-N Recommender Systems. WSDM 2016: 153-162

以上是基于用户的原始评分（或者反馈）来挖掘深度的数据模式特征

---

• 带文本信息的评分预测

1. 传统方法：通常联合使用主题模型与矩阵分解
2. 改进方法：替换掉主题模型，使用Stacked Denoising Autoencoders进行文本特征与评分预测中的数据特征相融合

文献：Hao Wang, Naiyan Wang, Dit-Yan Yeung. Collaborative Deep Learning for Recommender Systems. KDD 2015: 1235-1244

• 音乐推荐系统冷启动

1. 从音乐的音频数据中提取到相关的特征X,然后将这些音乐自身的数据特征映射为通过矩阵分解学习得到的隐含向量,也就是学习一个函数F，使之达到F(X) -> Y。通过学习这样的变换函数，当新音乐来到时，可以通过提取其自身的音频特征来得到其隐含向量，而不必要求使用用户数据来训练Y。得到Y的预测值之后，从而可以使用传统矩阵分解的方法来计算待推荐用户与新物品直接的相似性。

文献：Aäron Van Den Oord, Sander Dieleman, Benjamin Schrauwen. Deep content-based music recommendation. NIPS 2013: 2643-2651

2. 使用深度信念网络(Deep Belief Network)进行音频数据特征变换，不同的是同时保留两种表示，第一种表示从协同过滤方法中得到的数据表示，而第二部分则对应基于内容方法得到的数据表示，最后两部分表示分别做点积，用来拟合最后的评分结果。

文献：Xinxi Wang, Ye Wang. Improving Content-based and Hybrid Music Recommendation using Deep Learning. ACM Multimedia 2014: 627-636

以上都是将传统协同过滤的矩阵分解方法与神经网络模型相结合处理

---

以上推荐优化的思路：如何能够融入任务特定的信息(例如物品内容信息)以及模型配置(例如可以用简单多层神经网络模型或者卷积神经网络模型)，从而获得理想的结果。

———————————————————————————————————

基于用户与物品（包括时序关系）推荐模式

• 时序关系的引入

1. 基于session的推荐

Balázs Hidasi, Alexandros Karatzoglou, Linas Baltrunas, Domonkos Tikk. Session-based Recommendations with Recurrent Neural Networks. CoRR abs/1511.06939 (2015)

2. 出租车下一地点预测(改进后的多层感知器模型vs循环神经网络模型)

文献：Alexandre de Brébisson, Étienne Simon, Alex Auvolat, Pascal Vincent, Yoshua Bengio. Artificial Neural Networks Applied to Taxi Destination Prediction. DC@PKDD/ECML 2015

3. 结合RNN及其变种GRU模型来分别刻画用户运动轨迹的长短期行为模式

文献：Cheng Yang, Maosong Sun, Wayne Xin Zhao, Zhiyuan Liu. A Neural Network Approach to Joint Modeling Social Networks and Mobile Trajectories. arXiv:1606.08154 (2016)

3. 研究展望

基于上面的讨论，可以看到目前神经网络模型（特别是深度模型）在推荐系统中的应用还是处于很初步的阶段，在未来会有更多更广泛的尝试。下面对于未来四个可能的研究方向进行简要介绍。

• 结构化神经网络模型:
  目前在推荐系统中已发表的学术论文中，比较成功的神经网络模型还是基于多层感知器架构进行变型的模型，很少有相关公开的科研成果报道基于结构化的神经网络模型取得了显著的提高。这里结构化神经网络主要包括基于序列的循环神经网络或者树结构的递归神经网络。目前推荐系统面临的数据附加信息不断增加，因此原始的用户物品二维矩阵不能刻画复杂的推荐场景，如基于session的推荐等。因此，如何在实践中充分挖掘结构化神经网络模型的实战效果将是一个很重要的研究方向。

该方向的相关研究基础文献：Balázs Hidasi, Alexandros Karatzoglou, Linas Baltrunas, Domonkos Tikk. Session-based Recommendations with Recurrent Neural Networks. CoRR abs/1511.06939 (2015)

Cheng Yang, Maosong Sun, Wayne Xin Zhao, Zhiyuan Liu. A Neural Network Approach to Joint Modeling Social Networks and Mobile Trajectories. arXiv:1606.08154 (2016)

• 推荐结果的可解释性：
  推荐系统中一个重要问题就是如何加强推荐结果的可解释性，较好的推荐结果可解释性，将会增加用户采用推荐结果的可能性。而大部分深度学习推荐算法是将数据变换到一个隐含空间，在这个隐含空间可以计算用户与物品之间的相似性，但是很难提供直接的推荐理由。可以说，这也是神经网络模型中的一个基本问题，模型输出不应该是简单给出神经元间的权重系数以及连接结构。

已有的方法是使用主题模型学习得到的话题加上显式的物品特征来加强可解释性，这两个途径都值得深度学习推荐算法借鉴，加强模型的可解释性。

文献：Chong Wang, David M. Blei. Collaborative topic modeling for recommending scientific articles. KDD 2011: 448-456)

Yongfeng Zhang. Incorporating Phrase-level Sentiment Analysis on Textual Reviews for Personalized Recommendation. WSDM 2015: 435-440)

Wayne Xin Zhao, Jinpeng Wang, Yulan He, Ji-Rong Wen, Edward Y. Chang, Xiaoming Li. Mining Product Adopter Information from Online Reviews for Improving Product Recommendation. TKDD 10(3): 29 (2016)

• 跨平台的信息融合与聚合：
  随着信息技术的不断发展，推荐系统所面临的推荐场景不在局限于单一用户信息领域和单一物品信息领域。例如，同一个用户可能同时对应着多个社交账号的信息，可能需要对其推荐多种类型的物品，实现信息的跨网站应用 【1-4】。在这种情况下，对于跨平台的信息融合与聚合尤为重要。之前的工作实际上已经在这方面初露端倪【A,B】，神经网络模型在异构信息融合上已经发挥了一定的效果。这一方向值得继续深入挖掘

【1】Wayne Xin Zhao, Sui Li, Yulan He, Edward Y. Chang, Ji-Rong Wen, Xiaoming Li. Connecting Social Media to E-Commerce: Cold-Start Product Recommendation Using Microblogging Information. IEEE Trans. Knowl. Data Eng. 28(5): 1147-1159 (2016)

【2】 Wayne Xin Zhao, Yanwei Guo, Yulan He, Han Jiang, Yuexin Wu, Xiaoming Li. We know what you want to buy: a demographic-based system for product recommendation on microblogs. KDD 2014: 1935-1944

【3】Yang Xiao, Wayne Xin Zhao, Kun Wang, Zhen Xiao. Knowledge Sharing via Social Login: Exploiting Microblogging Service for Warming up Social Question Answering Websites. COLING 2014: 656-666

【4】Meng Jiang, Peng Cui, Nicholas Jing Yuan, Xing Xie, Shiqiang Yang. Little Is Much: Bridging Cross-Platform Behaviors through Overlapped Crowds. AAAI 2016: 13-19

【A】Hao Wang, Naiyan Wang, Dit-Yan Yeung. Collaborative Deep Learning for Recommender Systems. KDD 2015: 1235-1244

【B】Shiyu Chang, Wei Han, Jiliang Tang, Guo-Jun Qi, Charu C. Aggarwal, Thomas S. Huang. Heterogeneous Network Embedding via Deep Architectures. KDD 2015: 119-128

• 在线学习以及增量学习：
  对于实用的推荐系统来说，需要对于模型的效果和效率做一个权衡，特别是要考虑到数据的实时到达，因此在这种场景下在线学习和增量学习显得格外重要。传统情况下，深度神经网络模型的训练往往是比较耗时的，需要一种在模型复杂度与训练速度两者之间有效的均衡，以满足数据的在线处理以及增量处理。