知识图谱与推荐系统(DKN)

DKN: Deep Knowledge-Aware Network for News Recommendation

论文下载链接：https://arxiv.org/abs/1801.08284v1

本文模型：将知识图表示与新闻推荐相结合的深度知识感知网络（DKN）

1. 新闻推荐的挑战：

• 对时间高度敏感，其相关性在短时间内迅速失效。

• 人们在新闻阅读中对话题敏感，因为他们通常对多个特定的新闻类别感兴趣。

• 新闻语言通常是高度浓缩的，由大量的知识实体和常识组成。

2. DKN框架：

（插入：基础知识，知识图嵌入和用于句子表示学习的卷积神经网络）

1) 知识图嵌入




TransR:

TransD:


2）用于句子表示学习的卷积神经网络

1. DKN整体框架：
1）输入：一条候选新闻（Candidate news）、一个用户的点击历史（User’s clicked news）
2） KCNN将新闻的词级和知识级表示进行融合，得到每一条新闻的知识感知表示向量。
3）注意力模块，自动将候选新闻与单击的每一天新闻进行匹配，用不同的权重聚合用户的历史记录。
4）深度神经网络（DNN）对用户嵌入和候选新闻嵌入进行处理，进行CTR预测。

1）输入：

对于在线新闻平台的用户，其点击历史记录为：

每一项 t 表示为第i个用户点击的第j条新闻的标题。 每个新闻标题 t 由一系列单词组成，t = [w1, w2, …]
知识图G：由三元组（h, r, t）组成，h, r, t 分别表示三元组的头实体，关系，尾实体，G中的实体 e 为特定的单词或短语。t 中的 w 与知识图中的实体e相关联。
目标：预测用户i是否会点击候选新闻tj

2）KCNN：

1. 实体嵌入：
   实体关联，利用实体链接技术将t 中单词与知识图中预先定义的实体关联，消除歧义；
   构造子图，构造一个子图，从原始知识图中提取它们之间的所有关系链接；
   知识子图扩展，将知识子图扩展到一跳内的所有实体；
   表示学习，利用TransE，TransR，TransH等多种知识图嵌入（KGE）方法进行实体表示学习。
   
2. 上下文嵌入：
   
3. 新闻特征提取：
   （1）将知识提取中得到的word embedding，entity embedding，context embedding作为三个信道输入（多通道和单词-实体对齐方式），分别表示为：
   
   其中函数g可以是线性变换也可以是非线性变换。
   新闻的输入可以表示为：
   
   （2）使用不同尺寸的filter进行卷积：
   
   （3）最大池化：
   
   将结果整合为输出新闻的特征表示向量：
   

3）注意力机制：

2. 实验

1）数据集






从a图中可以看出新闻具有时效性，大部分新闻在3天之后就没有了阅读量；b图可以看出新闻数据的稀疏性；c和d表示新闻标题的单词数平均在7.9，涉及的实体数平均在3.7；e和f 表示新闻数据集中实体的出现时间的分布以及提取的知识图中的上下文实体的数量分布（遵循长尾分布）。

2）评价指标
F1-score 和 AUC值

3）实验结果






4）讨论

3. 结论

代码地址：https://github.com/hwwang55/DKN