第二篇《基于深度学习的推荐系统研究综述》论文阅读笔记

[1]黄立威,江碧涛,吕守业,刘艳博,李德毅.基于深度学习的推荐系统研究综述[J].计算机学报,2018,41(07):1619-1647.
基于深度学习的推荐系统研究综述

一、文章本身

1.Primary thesis （文章主旨—文章想说啥？如果不明显就自己去总结）

基于深度学习的推荐系统的研究与应用进展进行综述．
第 1节 引言
第２节 介绍传统推荐算法；
第３节 深度学习主要方法；
第４节 基于深度学习的推荐系统的研究进展（重点分析）
第５节 展望基于深度学习的推荐系统的未来研究趋势；
第６节 全文总结

2. 传统推荐方法

1. 基于内容的推荐（ 根据用户已经选择或者评分的项目，挖掘其它内容上相似的项目作为推荐）
2. 协同过滤推荐（利用相似用户之间具有相似兴趣偏好的方法，来发现用户对项目的潜在偏好）
3. 混合推荐（后融合、中融合和前融合）

3. 深度学习主要方法；

1. 自编码器（Autoencoder, AE）
定义：通过一个编码和一个解码过程来重构输入数据，学习数据的隐层表示，类似三层卷积神经网络结构，见下图。

目的：是使得输入ｘ与输出ｙ 尽可能接近，这种接近程度通过重构误差表示。
缺点：自编码器很容易学习到恒等函数
变种：稀疏自编码器、降噪自编码器、栈式降噪自动编码器鲁棒性¹强
应用场景：括评分预测、文本推荐、图像推荐

2. 玻尔兹曼机（Boltzmann Machine, BM）
定义：是生成是随机神经网络。由一些可见单元（对应可见变量，亦即数据样本）和一些隐层单元（对应隐层变量）构成，状态取0-1。
优点：能够学习数据中复杂的规则，具有强大的无监督学习能力²。
缺点：训练过程非常耗时。
变种：受限玻尔兹曼机（Restricted Boltzmann Machine, RBM 提高学习效率）
应用场景：用户评分预测

3. 深度信念网络（Deep Belief Network, DBN）
应用较少，只限于音乐推荐，故略。

4. 卷积神经网络（Convolutional Neural Network，CNN）

定义：是一种多层感知机，主要被用来处理二维图像数据。
优点：减少了模型中神经元数量、参数数量，降低复杂度，具有更高鲁棒性
基本结构：输入层、卷积层、下采样层（池化层）、全连接层和输出层构成。

应用场景：较广泛，主要包括图像推荐、音乐推荐、文本推荐等。

5. 循环神经网络（Recurrent Neural Network，RNN）
定义：普通的全连接网络或卷积神经网络，是从输入层到隐层再到输出层的结构，层与层之间是全连接的，每层之间的节点是无连接的；循环神经网络之间是有连接的。
优点：神经网络各隐层之间的节点是具有连接的，它能够通过获取输入层的输出和前一时刻的隐层状态来计算当前时刻隐层的输出，也就是说 ＲＮＮ 能够对过去的信息进行记忆（当需要预测句子中下一个单词是什么的时候，一般需要依据前面的单词）
缺点：梯度消失，，很难解决学习数据之间的长程依赖关系
变种：长短时记忆网络（Long Short-Term Memory, LSTM ）、门限循环单元（Gated Recurrent Unit ，GRU）是目前最为广泛的循环神经网络模型
应用场景：机器翻译、语音识别、图标标注生成

4. 基于深度学习的推荐系统的研究进展（重点分析）

略

5. 展望基于深度学习的推荐系统的未来研究趋势；

略

6. 结束语

略

二、我能从本文学到的

1. 有哪些重要的观点你想要记住，或是将来可能会引用到 （key citations）；
   - 卷积神经网络（Convolutional Neural Network，CNN）

• 定义：是一种多层感知机，主要被用来处理二维图像数据。
• 优点：减少了模型中神经元数量、参数数量，降低复杂度，具有更高鲁棒性
• 基本结构：输入层、卷积层、下采样层（池化层）、全连接层和输出层构成。
  
• 应用场景：较广泛，主要包括图像推荐、音乐推荐、文本推荐等。

- 循环神经网络（Recurrent Neural Network，RNN）

• 定义：普通的全连接网络或卷积神经网络，是从输入层到隐层再到输出层的结构，层与层之间是全连接的，每层之间的节点是无连接的；循环神经网络之间是有连接的。
• 优点：神经网络各隐层之间的节点是具有连接的，它能够通过获取输入层的输出和前一时刻的隐层状态来计算当前时刻隐层的输出，也就是说 ＲＮＮ 能够对过去的信息进行记忆（当需要预测句子中下一个单词是什么的时候，一般需要依据前面的单词）
• 缺点：梯度消失，，很难解决学习数据之间的长程依赖关系
• 变种：长短时记忆网络（Long Short-Term Memory, LSTM ）、门限循环单元（Gated Recurrent Unit ，GRU）是目前最为广泛的循环神经网络模型
• 应用场景：机器翻译、语音识别、图标标注生成

2. 有哪些结论你将来可能用到；

3. 有哪些方法你将来可能用到；

4. 文章在研究设计上有哪些不足?有没有更好的改进方法？

5. 文章让你想到了哪些观点类似或者完全不同的其他文章？

三、总结

1. 你对文章中观点、论述、方法、讨论等部分有什么想法和critique？
   本文主要讲推荐算法，与我的研究方向不同，故仅做简要了解。

相关术语解释

---

1. 鲁棒性（Robustness）：就是稳定性 ↩︎

2. 无监督学习能力：是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习，没标签则为无监督学习。 ↩︎