基于深度学习的推荐系统研究

基于深度学习的推荐系统研究

论文信息：北京邮电大学   陈达  14年硕毕论

目的：深度网络学习算法应用到推荐系统 。

为此工作：

1）研究分析基于内容的推荐系统和基于协同过滤的推荐系统，包括基于相似度的最近邻方法，朴素贝叶斯方法，潜在因素的矩阵分解方法，分析了各自的优缺点。

2）研究一个典型的深度网络模型——多层受限波兹曼机（DBN）。

3）将深度网络与传统协同过滤方法相结合，建立一个新的深度网络混合模型，采用有限步吉布斯采样的最小化散度差算法对深度模型的似然函数求解，可以训练一个深度网络系统。

4）在多个数据集上，将此方法和传统方法进行对比，证明深度网络学习方法在特征提取上具有不错能力，用在推荐系统上比协同过滤方法有更好的抗噪性和有效性。 

内容一（传统算法优缺点） ：

1，基于内容的推荐算法：TF-IDF，朴素贝叶斯。

2，基于协同过滤的推荐算法：根据相似用户的最近邻，潜在因素的矩阵分解。

内容二（深度网络结构）：

背景知识1：神经网络的神经元，sigmoid神经元

              

                                    

对于一个单层的推断结构利用梯度下降的方式学习权值：

         

上述公式中，字母依次分别代表学习速率，0,1二值，推断的概率。

背景知识2：波兹曼机

波兹曼机是由随机神经元函数（sigmoid）组成的随机机器，每个节点的状态只能是“开”和“关”两种状态，用0和1来表示，这里的0和1状态的意义是代表了模型会选取哪些节点来使用，处于激活状态的节点被使用，未处于激活状态的节点未被使用。节点的激活概率由可见层和隐藏层节点的分布函数计算。其神经元分成两部分功能组一一下面一层的可见层神经元和上面一层的隐含层祌经元。在网络的训练阶段所有的可见神经元都被钳制在环境所决定的特定状态，而隐藏神经元总是自由运行的。

 

背景知识3：波兹曼机统计力学与吉布斯分布

有许多自由度的物理系统，它可以驻留在大量可能状态中的任何一个。P表示状态概率，E表示状态的能量（P和E一一对应），当系统和周围环境处于热平衡状态时一个基本的状态的发生概率为：

 

其中T为幵尔文绝对摄氏度，K为波兹曼常数，再根据概率之和为1可以得到在某个状态E下联合概率分布函数：

 

上述分布即符合