【论文笔记】Hybrid Recommendation System using Graph Neural Network and BERT Embeddings

Hybrid Recommendation System using Graph Neural Network and BERT Embeddings

Paper address：Hybrid Recommendation System using Graph Neural Network and BERT Embeddings

One word summary

使用BERT和GraphSAGE网络介入计算作为Node Embedding和Prediction的组件

Motivation

KG数据具有数据稀疏的问题，可以利用GNN结合KG图结构进行embedding更准确的计算

Contribution

提出了一种利用BERT计算初始Embedding，并利用GraphSAGE进行信息传递和预测ratings的方法

Dataset

Amine Recommendation Dataset

包含Amine Info table 和 Rating table两个信息表

Anime Info table包括Anime的详细信息，包括ID，名字，题材，创作/发行者，简介

Rating table包含每个user对不同Amine的评分（1~10）及其评价时间戳

Method

使用Sequence Encoder, Identity Encoder和Genres Encoder对不同类型数据进行编码

为克服详细内容导致的风格误差，利用BERT对简介进行处理，传进per-trained BERT得到的vector取均值与独热的类型编码做concat得到Anime embedding（Items Embedding），可以利用其他辅助信息（用户评论）来丰富信息获得更好的编码效果

Encoder部分和Decoder部分均采用异构化GraphSAGE模型实现，将一组Embedding及其邻接信息作为输入输出一组Embedding

Encoder部分采用两层GraphSAGE，即做两次信息聚集获得每一个User Embedding

Decoder部分采用一层GraphSAGE，传入相关User-Items子图Node对应Embedding和邻接信息（包括数据集给定的edge label），输出一个数据集中不存在的edge prediction label

Experiment

Loss函数使用RMSE均方根误差，测试集mask掉部分数据集内存在的评分