Re30：读论文 LegalGNN: Legal Information Enhanced Graph Neural Network for Recommendation

于 2022-09-13 10:58:33 发布
阅读量654 收藏 2
点赞数 1
分类专栏： 人工智能学习笔记 文章标签： LegalGNN legalAI GNN 知识图谱 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/126724704
版权

诸神缄默不语-个人CSDN博文目录

论文标题：LegalGNN: Legal Information Enhanced Graph Neural Network for Recommendation
论文ACM官方下载地址：https://dl.acm.org/doi/abs/10.1145/3469887
官方GitHub项目：yangjun12/LegalGNN: Code for Paper: LegalGNN: Legal Information Enhanced Graph Neural Network for Recommendation

本文是2022年ACM Transactions on Information Systems论文，作者来自清华和IBM。我很少读这种长篇的论文，分析很完整、到位，包括了对新方法和以前论文提出方法的详细对比和分析。
提出了第一个用于法律推荐系统的GNN模型。

实现针对用户兴趣（根据搜索历史得到）的文书推荐（Legal-Rec任务，感觉比标准的案例检索任务要更推荐一些）。

  1. 本文提出HLIN (Heterogeneous Legal Information Network) 来统一法律内容（案例文本和法律概念定义文本）和结构信息（法条、案由 (cause of action) 之间的关系，案例文本中含有法律概念（犯罪原因、关键要素等），法律概念之间有层级化、结构化的关系。知识图谱）。
  2. 为了建模用户兴趣，将用户在法律推荐系统中提出的query结合进HLIN，链接到被检索的文档和提出问题的用户上，这对冷启动用户/item也很有用。
  3. relational attention mechanism的GNN模型将HLIN中的高阶信息应用于推荐任务中。

文章目录

1. Background & Motivation

Legal-Rec和传统推荐系统的区别：

  1. 法律信息的结构联系和文本内容都很重要，因此特征融合很重要。
  2. 用户偏向于新案例（最新司法解释和司法实践），因此新item问题严重。
  3. 用户关注少数主题、兴趣稳定，所以准确建模用户兴趣很重要。

本文认为：

  1. 传统在图中传播节点特征的方法对结构联系的应用不够充分。
  2. 传统解决new-item的方法是基于内容，没有考虑与之前有充分交互信息的item的关系。本文用法律概念作为这个桥梁。

以前的Legal-Rec工作主要考虑多主题内容和冗余关系，因此使用基于主题模型的方法（如LDA）或基于图的方法。但这忽略了法律信息的联系。基于图的方法还丢失了法律文书的内容信息。
以前有用法律知识图谱做IR或QA的工作。

传统仅使用内容的推荐系统缺失结构信息，使用知识图谱的推荐系统（KG+user-item二部图）缺乏对知识图谱节点内容的应用（利用节点内容特征不够充分）。

2. LegalGNN

在这里插入图片描述

2.1 HLIN

在这里插入图片描述

节点：users, cases, queries, legal concepts, and connections among them
法律概念包括：cause, law, clause, and factor
特征：文本
边（建模用户兴趣）：user-query and item-query relationships

User-item Interaction History
Search History

legal knowledge graph
Legal Domain Knowledge（作为side information）：文本法律概念和其间的结构化联系。

结构化联系包括：

  • item-entity alignments（案例与法律概念相关）
  • 法律概念之间的联系（层级化定义）

有向图，但是每种关系同时考虑其反向关系

user behavior graph
interaction：user & item
submit：user & query
retrieval：query & item

2.2 LegalGNN

在这里插入图片描述

在这里插入图片描述

BERT+SDAE+TransR+GNN

Unified Content and Structure Representation Module
图基本上就是上一节的构图内容

BERT（OpenCLaP的预训练模型，最后一层嵌入token的平均池化）
降维：autoencoder (SDAE)
 Denoising Autoencoder (DAE)
 两层SDAE：
在这里插入图片描述
在这里插入图片描述
以上两个模块与下游任务解耦

Unified Node Representation：TransR+与固定的文本内容向量（经线性变换后）concat
在这里插入图片描述
在这里插入图片描述
两种嵌入都随机初始化后梯度下降（我没太搞懂为什么，难道不是前面得到的吗？而且我确实觉得已经有GNN了还要显式建模一下结构，很奇怪）

在这里插入图片描述
通过随机corrupt构建负三元组

Multi-relational GNN Module
本文参考LightGCN构建了简化版的GNN模型。

在这里插入图片描述

GNN：pool + aggregate（直接对每种关系的邻居做一个整体的池化，然后再用attention进行聚合。不使用transformation矩阵：避免过拟合问题）
在这里插入图片描述

propagation：

  1. 在这里插入图片描述
  2. Relational Attention
    在这里插入图片描述
    注意力计算方式：
    在这里插入图片描述
    在这里插入图片描述
  3. Prediction：内积
    在这里插入图片描述
    pair-wise ranking loss：
    在这里插入图片描述
    （对每一个训练集样本，随机选择一个负样本）

模型训练

  1. 用SDAE降维：在这里插入图片描述
  2. 联合学习推荐任务和表示任务：在这里插入图片描述
  3. 按推荐任务等比例抽取图中的mini-batch进行训练；类似GraphSAGE的抽样策略

Leakage Path Bias during Graph Modeling
break-path strategy

3. 实验

3.1 数据集

大型法律推荐数据集。由于隐私问题不能完全公开。

划分数据集：leave-one-out strategy（用每个用户最新交互作为测试集，倒数第二次交互作为验证集，其他作为训练集）
不考虑重复推荐问题
negative sampling method：评估排序任务中的推荐表现（1-99）

在这里插入图片描述

在这里插入图片描述
（注意表格中只有一个方向的关系，事实上反向边也考虑）

3.2 baseline

  • 基于因式分解：BPR
  • 基于GNN
    • KGAT
    • LightGCN
  • 基于HIN
    • CFKG
    • GATNE-T
    • GATNE-I
  • 基于内容
    • ACCM
    • NFM
    • NRMS
    • NRHUB

在这里插入图片描述

3.3 实验设置

PyTorch
重复5次实验（只有随机种子改变）
其他略

3.4 主实验结果

评估指标：
Hit Ratio (HR)
Normalized Discounted Cumulative Gain (NDCG)

在这里插入图片描述

3.5 模型分析

3.5.1 Ablation Study

在这里插入图片描述
C：文本内容特征
S：结构特征
Debias：训练过程中的debias strategy
Q：query节点及其相关边

在这里插入图片描述

3.5.2 冷启动问题

在这里插入图片描述

3.5.3 超参设置

在这里插入图片描述

3.5.4 案例分析

在这里插入图片描述

诸神缄默不语
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【转载】Attention Mechanism in Deep Learning
weixin_30916125的博客
03-31 1400
本篇随笔为转载，原文地址：知乎，深度学习中Attention Mechanism详细介绍：原理、分类及应用。参考链接：深度学习中的注意力机制。 Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attention Mechanism目前非常流行，广泛应用于机...
TCP ADaLR+: Enhanced TCP Scheme for GEO Satellite Network
02-10
TCP ADaLR+: Enhanced TCP Scheme for GEO Satellite Network
诸神缄默不语-个人CSDN博文目录
诸神缄默不语的博客
05-24 1万+
诸神缄默不语的CSDN博文目录
GNN:Graph Neural Networks for Social Recommendation简介
loserChen的博客
03-25 6240
Graph Neural Networks for Social Recommendation Abstract 基于GNN建立社交推荐系统有很多的挑战，因此作者提出了GraphRec框架。作者提供了一种有原则的方法来联合捕获用户-项目图中的交互和意见，并提出了框架GraphRec，该框架连贯地对两个图和异构优势进行建模。 Introduction 作者提出三个问题： 如何整合user-user...
IJCAI 2022 | 求同存异：多行为推荐的自监督图神经网络
Paper weekly
05-24 2096
©作者|顾舒贇单位|北邮GAMMA Lab来源|北邮GAMMA Lab论文标题：Self-supervised Graph Neural Networks for Multi-behavior Recommendation收录会议：IJCAI 2022论文链接：http://shichuan.org/doc/134.pdf代码链接：https://github...
GNN在推荐系统中的挑战、方法和方向
宇宙哇
10-15 1274
GNN在推荐系统中的挑战、方法和方向 今天给大家介绍清华大学李勇、中科大何向南老师团队有关GNN和推荐系统的综述：Graph Neural Networks for Recommender Systems: Challenges, Methods, and Directions。这篇文章对图神经网络及其在推荐系统中的应用进行了详细的调研，从不同角度对GNN在推荐系统的应用进行了分类，最后基于这些调研对领域内存在的问题和发展方向进行了讨论。 推荐系统的发展历程 浅层模型 早期的推荐模型主要通过计算交互的
【论文整理】基于图神经网络的序列推荐模型整理Graph Neural Networks for Recommender Systems: Challenges, Methods, and Direct
qq_45719936的博客
05-24 1309
序列推荐发展历程 对于序列推荐，为了提高推荐性能，需要从序列中提取尽可能多的有效信息，并了解用户在序列中的兴趣，包括短期兴趣、长期兴趣、动态兴趣等，以便准确预测用户可能感兴趣的下一个项目。已经使用了一些序列建模工具，如马尔可夫链或递归神经网络GNN。对于图神经网络，通过将数据转换为图，它可以很好地用于短期、动态的兴趣建模或表示学习。使用GNN进行序列建模的一般模式。 SURGE将每个用户的序列转换为项目-项目图，并通过度量学习自适应地学习边的权重，动态图池只保留较强的边。保留的图形通过位置展平转换为序列，
STRUCTURALLY ENHANCED INCREMENTAL NEURAL LEARNING FOR IMAGE CLASSIFICATION WITH SUBGRAPH EXTRACTION
02-21
STRUCTURALLY ENHANCED INCREMENTAL NEURAL LEARNING FOR IMAGE CLASSIFICATION WITH SUBGRAPH EXTRACTION
Enhanced Discriminative Generative Adversarial Network for Face Super-Resolution
02-07
本研究提出了一种增强判别生成对抗网络（Enhanced Discriminative Generative Adversarial Network，简称 EDGAN），旨在提高真实世界中面部图像的超分辨率（Super-Resolution，简称 SR）性能。传统基于生成对抗网络...
django-enhanced-emails:for包含电池的Django电子邮件
05-02
安装软件包： pipenv install django-enhanced-emails 创建一个新的电子邮件类： # myapp/emails.py from enhanced_emails import EnhancedEmail class WelcomeEmail ( EnhancedEmail ): subject = "Welcome to ...
浅谈Attention机制的理解.pdf
04-25
Attention注意机制现在大热，很多深度学习的框架都带上了注意力机制，而且也取得了很好的性能指标。乘着大热也来水一水文章，发表发表自己的看法。事先说明老哥我在NLP上萌新一枚，粗糙想法不登大雅，呆萌的逻辑思维适合同为萌新滴你。废话不多说，在本文我就浅谈下对注意机制的理解。
论文研究-A New Privacy Enhanced Temporary Social Network Service for Group Dating.pdf
08-19
一种新的隐私增强的临时社交网络群体相亲服务，刘露，，当前的群体相亲使用的技术比较低端，因此在相亲过程中导致许多尴尬和不便。本文提出一种新的隐私增强的临时社交网络群体相亲服务
基于图神经网络的推荐系统
weixin_42863719的博客
04-29 6283
本文基于两篇综述系统地介绍基于图神经网络的推荐系统：A Survey on Knowledge Graph-Based Recommender Systems和Graph Learning based Recommender Systems: A Review
Calendar Graph Neural Networks for Modeling Time Structures in Spatiotemporal User Behaviors学习笔记
qq_39550159的博客
10-04 467
论文简介 Daheng Wang老师发表在KDD 2020上的一篇论文，主要通过用户的时空行为数据，对时间进行分级别建模，同时融合时空相关性来学习用户表示 ，能够更好的服务于下游任务。 论文源码：https://github.com/dmsquare/CalendarGNN 论文背景 学习用户的表示，现有的学习方法主要将用户的行为日志表示为一系列项，并找到相应的顺序模式，但是这可能会缺少空间信息，但是这些空间信息对用户建模是非常有用的。 目前...
VQA中的attention机制
bxg1065283526的博客
04-16 3166
近年来，attention机制在深度学习领域受到了越来越多的关注。从数学的形式上看，attention机制只是简单地对输入项根据重要程度分配不同的加权参数，但这一机制模拟了人脑的认知模式，即根据实际需求而将有限的注意力聚焦于事物的关键部分，从而大大加强了神经网络的理解能力。 由于VQA涉及对图像和文字的深度理解，attention机制在VQA领域自然成了一大利器。于是这周就将attention机制...
基于attention的半监督GCN【包括极简例子理解图卷积神经网络的传播过程】
李滚滚的博客
05-08 5677
文章目录摘要Introduction相关工作 摘要   基于GNN的模型在一些基本数据集上进行半监督学习，都表现出了比现有方法更出色的效果。这些网络结构的基本结构是：聚合局部邻域隐藏状态的传播层 与 全连接层交替组合。令人感到惊讶的是，取消了中间所有全连接层的线性模型仍然能够取得非常好的效果。这对于标记样本非常少的半监督学习是非常有意义的，因为会减少很多参数；也为设计更新颖的传播层提供了空间。...
读书笔记8：Graph Attention Networks（ICLR 2018)
热门推荐
b224618的博客
08-16 2万+
https://mila.quebec/wp-content/uploads/2018/07/d1ac95b60310f43bb5a0b8024522fbe08fb2a482.pdf https://arxiv.org/pdf/1710.10903.pdf 这是一篇将attention机制应用到graph convolution中的文章。但是文章中提出的模型其实是利用了attention的一部...
Attention Mechanism（注意力机制）
蒲建建
06-03 568
什么是注意力机制？ 深度学习中的注意力机制和人类视觉的注意力机制类似，就是在众多信息中把注意力集中放在重点的点上，选出关键信息，而忽略其他不重要的信息。
神经网络中注意力机制（Attention Mechanism）
Microstrong
09-08 2万+
你要的最全、最详细的神经网络注意力机制就在这里！吐血大放送，大总结！ 注意力机制（Attention Mechanism）在自然语言处理中的应用 强烈推荐：http://www.cnblogs.com/robert-dlut/p/5952032.html 深度学习和自然语言处理中的attention和memory机制 http://geek.csdn.net/news/deta...
PID控制与Integration-Enhanced Zhang Neural Network关系和转化
最新发布
07-12
PID控制和Integration-Enhanced Zhang Neural Network（增强型张神经网络）是两种不同的控制方法，它们在原理和实现上有所差异。 PID控制是一种经典的控制方法，它基于比例项（P）、积分项（I）和微分项（D）来调节...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值