《A Hierarchical Self-attentive Convolution Network for Review Modeling in Recommendation Systems》论文阅读笔记
-
背景:
从评论中学习用户,项目的特征是非常重要的,可以解决数据稀疏性问题,提高推荐性能。 -
已有方法:
(1) 基于CNN的模型从评论中提取特征;
(2) 基于RNN的方法从评论中学习上下文特征。 -
存在问题:
(1) 关注局部,不能建模文本中的长期依赖关系;
(2) 不能并行计算,模型训练慢。 -
本文:
提出文本编码器模型,结合自注意网络和卷积网络,建模文本中的全局和局部交互。
-
具体:
卷积层获得单词之间的局部交互,自注意层学习文本中的全局交互。构建多层编码器分层获得评论信息。
5.1 句子编码:
编码句子(通过单词级的自注意卷积层 + 基于注意的聚合层建模单词的上下文特征)
(1) 单词嵌入层(将句子中的单词映射为相关的嵌入向量)
(2) 句子编码(学习序列中每一个元素的上下文特征)
(3) 聚合(使用注意网络)
5.2 评论级:
从句子中学习评论特征
5.3 用户/项目级:
使用注意网络从评论中学习用户项目特征