（论文阅读2017WWW）What Your Images Reveal: Exploiting Visual Contents forPoint-of-Interest Recommendation

1.研究背景

在Instagram等真实的LBSNs中，用户可以上传与地点相关的照片。照片不仅反映了用户的兴趣，还提供了有关地点的信息描述。例如，一个上传了很多建筑照片的用户更有可能去参观著名的地标;当一个用户发布了很多关于食物的图片时，就会有更多的动机去餐馆。

2.相关研究:

        2.1.POI推荐 POI推荐又称地点推荐，已被公认为推荐系统的一项重要任务。现有关于POI建议的工作一般集中在四个方面，即地理影响、社会相关性、时间模式和文本内容。

        2.2.数据挖掘的视觉内容 近年来，关于图像和地点的工作一般可以分为两类。一种是将相关·区域划分为网格，并预测图像所在的网格，另一种类型是将图像与地标或POIs关联。 我们的问题不同于前面提到的方法。

3.研究问题:

虽然对POI推荐进行了多方面的研究，但还没有对图像内容进行POI推荐的研究。 (1)如何从图像中提取有用的视觉内容，因为我们缺乏图像中所包含的ground truth; (2)如何将视觉内容纳入POI推荐。

4.研究内容

        •研究了利用视觉内容增强POI推荐的问题。提出了一个新的POI推荐框架，称为Visual Content Enhanced POI recommendation(VPOI)。

        •研究利用视觉内容增强POI推荐的新问题;    

        •提出一种新颖的POI推荐系统，将视觉内容整合到概率模型中，以学习用户和POI潜在特征；  

        •在真实世界的数据集上进行实验，以证明提出的框架的有效性。

5.模型

5.1VPOI模型：建模用户POI签到数据

                选择了概率矩阵分解(PMF)作为POI推荐的基本模型。

                1.观测数据分布：

                2.后验分布可以写成:

5.2VPOI模型：视觉内容提取与建模

                1.VGG16提取视觉内容（前14层）：

                 2.用户相关的视觉内容建模（通过交互矩阵P调整相关性）：

                 3.位置相关的视觉内容建模（通过交互矩阵Q调整相关性）：

                4.联合建模：

5.3VPOI模型

                模型的图形表示：

                 通过Eq.(2)建模用户POI签到数据，Eq.(5)建模图像特征，我们提出VPOI框架（目标函数）为:

                 VPOI的学习算法：

 6.实验

实验数据集：纽约市(NYC)和芝加哥(CHI)，社交媒体网站Instagram上从2015年10月到2016年2月。

 7.结论

通过研究视觉内容来改进传统的POI推荐系统。为了有效地利用视觉内容，我们使用CNN从图像中提取特征，并使用它来指导用户和POI潜在特征的学习过程，从而形成了一个新颖的框架 VPOI。实验结果表明，该框架优于具有代表性的最先进的POI推荐系统。进一步的实验证明了该框架在通过合并图像来缓解推荐的冷启动问题的能力。