学习笔记

（1）提出了多模内容信息融合的兴趣点推荐模型。针对冷启动兴趣点推荐问题，本文提出了深度多模排序学习推荐模型（ＤＭＲＬ），该模型是一个概率生成模型，将挖掘到的多模内容信息以紧耦合方式融合到贝叶斯个性化排序学习框架（ＢＰＲ）。首先，创建了时间依赖和空间约束的用户偏好模型，挖掘用户行为的时间动态性和空间依赖性；其次，设计了深度多模网络，从兴趣点的文本内容和视觉图片中挖掘兴趣点的语义表示，通过正则化项方式与ＢＰＲ框架的融合搭建兴趣点的多模态内容信息和隐式反馈之间的桥梁，以任务驱动和有监督学习方式提取不同模态数据的语义表示；最后，为了加速模型的训练，设计了基于排序的自适应负样本采样算法。FourSquare和yelp数据集上的测评结果表明ＤＭＲＬ的accuracy和ＭＲＲ均显著优于对比方法。ＤＭＲＬ在冷启动兴趣点推荐上的accuracy＠１０分别提升了１９．７４％和５３．８９％，且在不同程度的稀疏数据集上的鲁棒性也显著增强。

1.建立兴趣点推荐的排序学习方法，利用用户反馈的兴趣点和未反馈的兴趣点构建偏序关系，建立排序学习模型挖掘用户和兴趣点的内在关系。

2.建立多模内容信息的挖掘方法，位置社交网络中的兴趣点从文本和视觉图片两个角度来对用户产生吸引力，为此本文需要研宄多模态内容信息的挖掘方法提取兴趣点的语义表示

3.建立时空约束下的用户偏好挖掘方法，常规的用户偏好建模方法是通过用户和兴趣点在稠密语义空间上的关系进行表示，无法表达用户在时间和空间约束下的偏好，为此本文需要研究用户偏好的时空依赖性，建立时空约束下的用户偏好模型。

针对POI推荐模型中存在数据稀疏，冷启动等问题，提出DMRL模型。这个模型针对用户行为的时空特点，建立了一个与时间相关的一个用户偏好模型，能够更好的捕捉用户行为。 并且为了缓解数据稀疏问题，该模型引入了 POI 的语义信息，并使用 BPR 框架来学习隐式交互。

        DMRL构建了时间依赖的用户偏好向量挖掘用户偏好的时间动态性，以正则化项方式引入了兴趣点空间距离信息，构建了时空依赖的用户偏好模型；DMRL构建了深度多模特征提取模型，从兴趣点的视觉图片和群体评论中挖掘兴趣点的内容语义特征，建立了联合学习策略对用户偏好模型和内容特征提取模型进行监督性的学习。为了加速模型的收敛速度，还提出了基于排序的动态采样策略。在foursquare和gowalla上进行实验测评，本文提出的方法在冷启动推荐上优于传统的方法的效果。

        本章设计了一个DMRL模型对个性化排序中的内在逻辑关系进行建模。该模型是一 个将兴趣点的多模态内容信息融合到贝叶斯个性化排序学习框架的概率生成模型 。具体来说，ＤＭＲＬ模型首先创建了一个时间依赖的用户偏好模型，利用空间特征化技术解决用户偏好的空间约束问题，使得ＤＭＲＬ模型可以同时挖掘用户行为的时间动态性和空间依赖性。其次，建立了一个深度多模网络，挖掘兴趣点的文本内容特征和视觉特征，以正则化项方式融合到ＢＰＲ模型框架。由于ＢＰＲ模型框架可以充分利用观测到的和未观测到的行为数据学习用户与兴趣点的交互关系，因此，深度多模网络模型与ＢＰＲ框架的融合可以有效的搭建兴趣点的内容信息和隐式反馈之间的桥梁 ，使得我们的模型可以以推荐任务驱动的有监督学习方式提取不同模态数据的语义特征表示。此外，为了加速模型的训练和参数学习，本章设计了基于排序的自适应釆样策略，可极大的加速模型的训练和参数收敛速度

        本文的目的是给为用户推荐经过排序的空间兴趣点列表，因此，将研究的问题定义为：对于给定的任意用户签到元组x=（u,t,v）形成一个查询q，目标是从兴趣点集合v中寻找满足查询条件q的topN个兴趣点推荐给目标用户。

         首先将用户和兴趣点映射到相同的K维实值潜在空间，创建的用户偏好模型为用户和兴趣点在实值潜语义空间中的向量内积。因此，对于用户的每个签到元组Xikj，简单的用户偏好模型函数可以表示为：

        由于用户的偏好是非常容易受到空间关系的影响，地理空间较为相近的两个兴趣点往往会吸引具有相似偏好的用户到访。利用两个兴趣点之间的地理空间距离衡量空间转移概率，于是Wjl可定义为：

        融合地理空间信息到简单的用户偏好模型函数中，得到用户偏好的模式表达式为： 

         其中η∈[0,1]为参数权重，用于平衡与目标兴趣点Vj在地理空间上相近的兴趣点对用户偏好的影响程度。η越大，认为空间影响程度越大。为了避免过拟合，p和q都小于C（事先约定超参数）。公式第一项衡量了用户对兴趣点在交互行为上的偏好，第二项衡量了地理空间对用户偏好的影响，在模型中起到正则化作用。

        本文所提出的网络模型是包含三个子网络的混合网络模型，即：提取图像特征的深度卷积神经网络，提取群体评论的记忆自编码网络以及学习共享语义表示的多模融合网络。前两个网络结构在提取兴趣点高层语义表示过程中相互影响。所构建的网络模型如下图所示。

        对于多模态信息，该模型分别用LSTM自编码和VGC16（预训练的卷积神经网络）得到对应的表示，然后勇敢多模融合从而得到地点多模态的语义信息。多模融合就是分别对文本和图像的表示通过一个线形层，然后将两者拼接起来，再通过一个线性层进行融合。

         最后该工作使用了一种基于排序的动态抽样策略，以加快收敛速度，并在模型优化过程中提高模型精度。

数据集

        为了验证模型的有效性，本小节利用两个公开的数据集：Ｆｏｕｒｓｑｕａｒｅ和Ｙｅｌｐ进行实验研究。这两个数据集包含了大量的用户签到行为数据，并在较多的研究工作中被采用。

        foursquare：有很多来自foursquare上的数据集，本小节米用文献［４４］中提供的数据集进行实验分析。该数据集包含了从2012-04-12到2013-02-16期间，美国纽约市的签到行为数据，共包含了1083个用户对3833个兴趣点，共计227428条用户签到行为数据。每个签到记录均包含用户ＩＤ、兴趣点ＩＤ、兴趣点的经纬度。由于该数据集并不包含用户的评论数据和兴趣点的图片数据，因此，本文利用foursquare提供的ＡＰＩ接口通过网络爬虫进行抓取。整个数据集的稀疏度为９９．４５％。

        yelp：本章采用Ｙｅｌｐ竞赛的数据集进行实验分析，该数据集包含1300000个用户，1200000个兴趣点，涵盖了４个国家１１个城市。每个签到记录均包含用户ＩＤ、兴趣点ＩＤ、兴趣点的经纬度、兴趣点的评论信息和图片信息、用户的签到行为数据。本章仅利用ＬａｓＶｅｇａｓ的数据作为实验数据，通过过滤掉少于２０个评论的用户，共得到8439个用户、20605个兴趣点、39329条评论数据。该数据集的稀疏度为９９．７７％。

        本章首先对用户的评论文本内容信息进行处理，主要包括移除停用词、数字、标点符号，还移除字符长度小于２个的单词，因为这些单词并不能表达任何有意义的内容，然后利用Ｐｏｒｔｅｒｓｔｅ＿ｅｒ从剩余的单词中一处后缀。本文剔除少于１０个单词的评论，因为这些评论无法充分表达对兴趣点的语义表示。对于图片数据，从每个兴趣点的诸多图片中筛选一张作为兴趣点的视觉数据，并将图片压缩到3x224x224的尺寸。

实验结果：

        小结：DMRL是将多模内容特征与贝叶斯排序学习框架相融合的概率生成模型。为了挖掘用户偏好的时间动态性，模型借鉴概率矩阵分解的思想，为每个用户创建了时间依赖的用户偏好向量；为了挖掘空间距离对用户偏好的影响，构造了兴趣点空间影响概率矩阵，并以正则化向方式将空间距离的影响融入到用户偏好模型中。为了从多模态的兴趣点内容信息中提取语义表示特征，模型利用卷积神经网络提取兴趣点的视觉特征，利用ＬＳＴＭＡＥ提取文本语义特征，并创建了多模共享语义特征提取模型提取兴趣点的内容语义特征。为了解决数据的稀疏性问题，模型建立了兴趣点内容语义特征和隐式反馈之间的关系，并利用有监督行学习方式学习多模特征提取模型的参数。最后，为了提升模型优化速度和模型的准确度，模型采用了基于排序的自适应动态采样算法采集负样本。在两个真实的数据集上对模型进行了实验验证，实验结果优于传统算法。

        在现实世界中的用户行为通常呈现了很强的时序性，遵循一定的序列行为转移模型。例如，用户会在运动过后去餐馆就餐，就餐过后可能会去电影院看电影或者散步。不考虑这种时序依赖关系信息将无法精确挖掘用户的行为轨迹，从而降低兴趣点推荐的精度。

（２）提出了上下文感知时序关系挖掘的兴趣点推荐模型。通过分析用户签到行为的时序依赖关系、不同类型上下文的交叉影响关系，提出了上下文感知的深度神经网络模型（ＭＣＩ－ＤＮＮ）。该模型将用户历史签到的时序依赖关系、不同类型上下文信息、用户静态偏好纳入到统一模型框架。首先，通过对循环神经网络的扩展，实现了对序列上下文、不同类型上下文信息的协同建模，挖掘用户动态偏好；其次，设计了前向反馈神经网络，从用户历史签到行为中学习用户静态偏好；最后，综合用户动态偏好和静态偏好预测用户在下一个时刻可能到访和签到的位置。为了处理不同类型上下文信息间的交叉影响关系，模型采用嵌入式表示技术将兴趣点、不同类型上下文映射到稠密语义特征空间，通过输入层到循环神经网络的隐藏层之间的映射关系挖掘不同类型上下文的交叉影响。Ｆｏｕｒｓｑｕａｒｅ和Ｇｏｗａｌｌａ数据集上的测评结果表明，提出的ＭＣＩ－ＤＮＮ模型显著优于对比方法，Ｆｌ－ｓｃｏｒｅ＠５在Ｆｏｕｒｓｑｕａｒｅ和Ｇｏｗａｌｌａ数据集上分别提升了５７．１２％和７６．４％。

建立上下文感知的循环神经网络挖掘用户动态偏好。循环神经网络作为时间序列建模最好的方法己经被广泛的应用于时序关系的挖掘中。然而，循环神经网络挖掘到的序列依赖关系是上下文无关的。位置社交网络中的用户签到行为除了受到历史签到行为的影响外，还受上下文的交叉影响。为此，本文研究如何改进循环神经网络，使其具备挖掘用户签到行为的短期和长期依赖关系，还具备融合不同类型上下文及其交叉信息的能力。

建立前项反馈神经网络挖掘用户静态偏好。研宄文献表明，即使两个用户具有相同的时序依赖关系和上下文信息，他们依然也会具有不同的行为决策。这是因为不同的用户具有不同的静态偏好。用户静态偏好反映了用户的本源喜好，是短时间内不随时间而变化的。为此，本文研宄如何构造有效的神经网络，从用户与兴趣点的交互数据中挖掘用户的静态偏好。

上下文感知的循环网络模型：

        模型的总体思路是利用循环神经网络从用户签到时序行为信息中挖掘用户行为时序动态偏好，利用前反馈神经网络学习用户常规偏好，融合用户动态偏好和常规偏好预测用户在下一时刻对特定兴趣点偏好的概率。具体而言，为了充分挖掘不同类型上下文对用户行为的交叉影响，首先利用嵌入式表示技术将上下文信息进行特征化表示，然后利用拼接的向量作为循环神经网络模型的输入，并将循环神经网络模型最后一个时刻的隐藏层输出作为用户动态偏好向量；其次，将从循环神经网络模型中学习到的兴趣点潜在特征向量经过平均池化操作得到的特征向量作为前向反馈神经网络的输入挖掘用户静态偏好；最后，通过池化操作对用户时序动态偏好和用户静态偏好特征进行整合并作为用户偏好特征向量，利用内积操作与待预测兴趣点的潜在特征向量求内积，计算用户对待预测兴趣点的偏好程度。

        用户动态偏好模型（左边部分）

        提出的模型首先将每种类型的上下文取值利用0-1嵌入式表示技术分别映射到高维特征语义空间，将每种类型的上下文称为一个域，所有类型的上下文高维特征语义空间就构成了多域特征矩阵。其次为每个域的上下文构建一个嵌入式稠密特征矩阵，每一行对应该域上下文取值；最后将每个域的每个上下文取值经过嵌入式表示层得到稠密特征向量。不同域下的不同上下文稠密特征向量经过拼接操作方式后得到时刻t下用户签到行为发生时的上下文特征表示向量，作为循环神经网络当前时刻t的输入。本章提出的模型用tanh函数表示激活函数（ρ（x））本章的扩展的循环神经网络每个时间点的隐藏层对当前时间点之前的多个元素进行建模，h（t）的公式表示：，

其中n表示在每个序列点建模的元素个数，也称为滑动窗口宽度。当只有一个元素作为模型的输入，即n=1，公式可退化为经典的循环神经网络

         用户静态偏好模型（右边部分）

        用户的偏好是由其到访过的兴趣点所决定的。本章构建了一个前向反馈神经网络（FNN）自动挖掘用户高层偏好向量。给定d-1层隐藏层，第d层的隐藏状态表示为：

 Q表示来自前一层作为输入的映射矩阵，激活函数为sigmoid函数，

前向反馈神经网络的输入向量表示用户签到序列中兴趣点的权重平均值，计算方法如下：

 其中w（t）表示用户对兴趣点l的偏好程度，可以用权重函数表示。MCI-DNN利用TF-IDF作为权重 函数。|Su|表示签到序列长度。

数据集

        利用了FourSquare和gowalla数据集。每个签到由一个三元组构成<user,venue,time>，每个兴趣点有其对应的经纬度。

        FourSquare数据集包含了2012年4月12到2013年1月16期间，发生在纽约和东京的用户签到数据，对数据集按照城市进行划分，形成两个子数据集（NYC)(TKY)。gowalla数据集包含了2009年1月到十月发生在加利福尼亚和内华达的签到行为数据，

     实验结果：提出的MCI-DNN显著优于所有的对比算法。

 

 

 

         表4-5 MCI-DNN*表示不加如用户静态偏好的模型，实验结果表明加入用户静态偏好可以显著医生推荐准确度。

        小结：分析了用户在序列行为决策过程中的影响因素，包括时序依赖关系，不同类型的上下文信息以及用户的静态偏好，提出了多上下文整合的深度神经网络模型提升兴趣点推荐的准确度。该模型是一个扩展的循环神经网络，并将不同类型的上下文信息通过嵌入式表示得到的稠密特征向量作为循环神经网络的输入，对用户的动态偏好进行建模，同时也构造了一个前向反馈神经网络，从用户的签到数据中挖掘用户静态偏好。并验证了准确度和稳定性均优于目前先进的方法，MCI-DNN不但可以在时序兴趣点推荐，还可以应用域其他时序相关任务，点击预测，交通拥堵预测。

（３）提出了时空背景感知时序关系挖掘的兴趣点推荐模型。为了挖掘用户签到行为的全局时序依赖关系和细粒度的兴趣点－兴趣点之间的空间关系，并区分历史签到的每个行为对当前行为决策影响的差异，本文还提出了时空背景感知的层级注意力模型（ＧＴ－ＨＡＮ）。该模型由两个注意力网络构成，第一个注意力网络利用地理空间影响理论挖掘用户行为的全局时序依赖关系和隐藏在签到行为序列中细粒度的兴趣点－兴趣点空间关系。实验结果表明，对细粒度兴趣点-兴趣点之间关系的挖掘可以显著提升兴趣点推荐质量；第二个注意力网络是上下文感知的协同注意力网络，为用户的每个历史签到行为对用户当前决策的影响赋予不同的权重，学习用户在给定上下文条件下的动态偏好。Ｆｏｕｒｓｑｕａｒｅ和Ｇｏｗａｌｌａ数据集上的测评结果表明，ＧＴ－ＨＡＮ模型的Ａｃｃｕｒａｃｙ＠１０分别提升了４６．３％和３７．８％。

建立空间－时间注意力网络，挖掘签到行为细粒度空间关系和全局时序依赖关系。位置社交网络中的兴趣点在空间上是相互影响的，用户签到过的兴趣点间细粒度空间关系和签到序列的全局时序依赖关系共同决定了用户偏好。为此，本文研宄利用注意力机制挖掘用户签到行为的细粒度空间关系，利用循环神经网络挖掘全局时序依赖关系。

建立上下文感知的协同注意力网络，动态识别与用户当前状态最相关的历史签到行为。循环神经网络在挖掘签到时序关系时，将签到序列中每个兴趣点对用户下一个时刻的决策贡献视为等价的，无法区分签到序列中每个行为的重要性。此外，签到行为的重要性也是上下文依赖的，不同上下文环境下的用户行为对其未来决策行为影响程度也是不同的。为此，本文研究设计了上下文感知的协同注意力网络，识别不同上文下环境下每个签到行为的重要性。

        利用注意力机制和双向LSTM模型构建了时空背景的注意力网络挖掘签到序列的高层次语义表示，该网络可以同时对签到序列的全局时间依赖关系和兴趣点间的细粒度关系进行建模。认为每个兴趣点都有两个空间特性：空间影响力，即将该兴趣点的用户传播到其它兴趣点的能力；空间感受力，即从其它兴趣点吸引用户的能力。

        为此，模型为每个兴趣点设计了三个因子向量，即兴趣点的空间影响向量、兴趣点的空间感受力向量、以及兴趣点与其他兴趣点之间的空间距离关系，对任意两个兴趣点之间的地理空间协同影响进行建模。设计的GT-HAN可以挖掘兴趣点间地理空间影响的变异性，而不是简单的限制在物理空间距离关系。为了区分用户对签到过的每个兴趣点的偏好程度并学习用户的动态偏好，进一步设计了上下文感知的协同注意力网路。最后，计算用户动态偏好特征向量和兴趣点的语义特征向量的内积，并通过softmax函数计算用户对特定兴趣点的偏好概率。

        文章提出的模型如上图 图中的箭头表示数据流，（兴趣点的地理空间感受矩阵），（兴趣点的地理空间影响矩阵），（兴趣点的偏好特征矩阵）分别表示查询、键和值；表示目标用户的一般性偏好向量，表示目标兴趣点的语义特征向量；表示当前时间状态下的潜在语义向量，表示用户的最近Ｌ个行为轨迹序列。

        空间-时间注意力网络：

        先将查询和键通过共享权重的非线性转换函数映射到相同的语义空间，然后计算权重矩阵表示为： 激活函数为ReLU

        利用高斯径向基函数核来衡量用户签到的兴趣点中任意两个兴趣点之间的空间距离影响权重。高斯径向基函数核表达式为：

        引入相邻两个签到兴趣点的地理空间距离影响，公式重新修订为：其中表示元素级的点乘操作。

        基于上述定义的注意力权重，空间注意力网络的输出可定义为：

         使模型可以同时引入来自不同表示空间的信息，空间注意力模型使用l个点乘注意力操作。对所有的l个点乘注意力网络的输出进行拼接操作，并通过线性映射方式讲拼接的输出特征映射到固定维度的特征空间。

        为了避免模型在训练过程中导致的信息传导丢失，在输出F上加入残差连接，然后经过正则化层。

        时序依赖关系建模

        利用双向循环神经网络Bi-LSTM，可以同时捕获前向序列和后向序列特征。将空间注意力网络的输出作为Bi-LSTM的输入，利用Bi-LSTM捕获签到序列中相邻两个签到行为的时间依赖关系。

         然后对每个时间状态的输出通过拼接，最后利用线性函数映射获得隐藏层的输入，所有时间状态的形成集合H。H的维度为L x d。

        上下文感知的协同注意力网络

        构建了一个上下文感知的协同注意力网络提取用户的动态偏好。首先将每个上下文信息映射到ｄ维的共享语义空间，然后利用第一个公式计算历史签到序列中每个兴趣点的重要性权重，并得到加权的输出结果Ｈ。最后，利用后项融合策略将加权输出结果进行拼接，然后通过一个非线性映射层学习到用户的动态偏好特征向量。

        给定目标用户的静态偏好特征向量，目标兴趣点的偏好特征向量，时间上下文的嵌入式语义表示特征向量，用户的动态偏好特征计算过程为：

 实验测评：

        本章利用fouraquare和gowalla的公开数据集，先对数据集进行处理。

        foursquare数据集剔除掉签到次数少于诗词的用户和少于10个用户签到的兴趣点，得到24941个用户对28593个兴趣点产生的1196248签到记录。gowalla剔除少于20的，得到18737个用户对32510个兴趣点产生的1278274签到日志。

         GT-HAN模型在accuracy＠Ｎ和ＡＵＣ指标上取得高于其它模型的结果的原因在于：首先，GT-HAN模型利用注意力机制捕获兴趣点之间的空间地理关系，利用Bi-LSTM模型捕获签到序列的时间序列依赖关系。相比于transorfam模型中采用的位置嵌式表示技术（ＰＥ），Bi-LSTM可以更好的对序列依赖关系进行建模；其次，提出了上下文感知的协同注意力网络学习用户的动态偏好，该网络可以从用户大量的历史签到行为中区别与用户当前偏好高度相关的行为。

        参数影响

首先研究潜在因子的影响，当d=700时，在两个数据集上取得较好的推荐结果，将d设为700进一步研究序列长度L对推荐精度的影响。当L为20时得到最好的推荐效果。 

         小结：

        主要原因在于ＧＴ－ＨＡＮ模型利用注意力机制挖掘兴趣点－兴趣点之间的空间影响关系，利用Bi-LSTM模型可以较好的挖掘全局序列依赖关系。本章提出的ＧＴ－ＨＡＮ模型可以从大量的签到序列数据集中学习高层次的语义表示。此外，ＧＴ－ＨＡＮ还可以通过设计的上下文感知的协同注意力网络从历史签到行为中区分每个行为对用户当前偏好影响差异性，避免不相关签到行为的影响。