KCNN :
semantic-level & knowledge-level
1.multi-channel:word embedding;entity embedding;context entity embedding
2.word-entity-aligned:word & associated entity
新闻数据特征:
1.高度时间敏感,相关性很快失效
2.人对话题热点的敏感,对多个类别感兴趣
3.新闻语言高度浓缩凝结,包含大量知识节点和常识。
知识图谱嵌入:
entity-relation-entity(h,r,t)
为知识图谱中的每个实体和关系学习得到一个低维向量,同时保持图中原有的结构或语义信息。一般而言,知识图谱特征学习的模型分类两类:基于距离的翻译模型(使用基于距离的评分函数评估三元组的概率,将尾节点视为头结点和关系翻译得到的结果。这类方法的代表有TransE、TransH、TransR、TransD等)和基于语义的匹配模型(使用基于相似度的评分函数评估三元组的概率,将实体和关系映射到隐语义空间中进行相似度度量。这类方法的代表有SME、NTN、MLP、NAM等)。
(基于距离的翻译模型中TransD结果更好)
定义损失:
Kim CNN:
DKN模型结构图:
KCNN:将word embedding & entity embedding & context entity embedding拼接
其中,或者
(非线性结果更好)
注意力模型:
DNN H计算权重
DNN G计算点击率