![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读笔记
文章平均质量分 96
最近阅读的相关论文简介
BUAA~冬之恋
Just Do It
展开
-
Diffusion-LM Improves Controllable Text Generation 扩散语言模型改善可控文本生成
论文链接:https://arxiv.org/abs/2205.14217代码链接:https://github.com/XiangLi1999/Diffusion-LM无需重训模型控制语言模型的表现是自然语言生成(NLG)的一个重要开放问题,近期工作已经在简单句子属性控制生成上取得了一定的进展,但是在复杂的、细粒度的控制上的进展还远远不够。作者指的更复杂,更细粒度的控制:为了解决这一挑战,我们提出了一个基于连续扩散模型的非自回归语言模型,我们称之为Diffusion-LM。Diffusion-LM是原创 2022-12-08 22:18:45 · 3020 阅读 · 1 评论 -
扩散模型(Diffusion Model)原理与代码解析(二)
我们已经明确了要训练pΘ(Xt−1∣Xt)p_{Θ}(X_{t-1}|X_t)pΘ(Xt−1∣Xt),那要怎么确定目标函数呢?有两个很直接的想法,一个是负对数的最大似然概率,即−logpΘ(X0)-\log p_{Θ}(X_0)−logpΘ(X0),另一个是真实分布与预测分布的交叉熵,即−Eq(X0)logpΘ(X0)-E_{q(X_0)}\log p_{Θ}(X_0)−Eq(X0)logpΘ(X0),然而,类似于VAE,由于我们很难对噪声空间进行积分,因此直接优化−logpΘ(X0转载 2022-12-06 21:18:53 · 1773 阅读 · 0 评论 -
GPT-GNN:图神经网络的生成式预训练 KDD 2020
论文链接:https://arxiv.org/pdf/2006.15437.pdf代码链接:https://github.com/acbull/GPT-GNN论文来源:KDD 2020参考文档:https://blog.csdn.net/c9yv2cf9i06k2a9e/article/details/1082313221、简介本文研究如何利用图生成作为自监督任务来预训练 GNN。我们将图的生成概率分解成两个模块:1)节点特征生成;2)图结构生成。通过对这两个模块建模,GPT-GNN 可以捕捉图.原创 2020-08-27 16:27:23 · 1020 阅读 · 1 评论 -
LightGCN:用于推荐任务的简化并增强的图卷积网络 SIGIR 2020
论文链接:https://arxiv.org/abs/2002.02126代码链接:https://github.com/gusye1234/LightGCN-PyTorch论文来源:SIGIR 2020摘要图卷积网络(GCN)已经成为协同过滤的最新技术。然而,对于推荐的有效性的原因却没有很好地解释。现有的将GCN用于推荐的工作缺乏对GCN的深入消融分析,GCN最初是为图分类任务而设计的,并配备了许多神经网络操作。然而,我们实证发现,两种最常见的设计-特征转换和非线性激活-对协同过滤的性能贡献很小.原创 2020-08-04 21:33:47 · 22220 阅读 · 8 评论 -
MOOCCube:基于MOOC相关研究的开源大规模数据仓库 ACL2020
论文链接:http://keg.cs.tsinghua.edu.cn/jietang/publications/ACL20-Yu-Luo-et-al-MOOCCube.pdf数据链接:http://moocdata.cn/data/MOOCCube导读MOOCCube是一个服务于MOOC相关研究的开源大规模数据仓库。和已有类似的教育资源数据库相比它的规模庞大,数据丰富且多样。其中的学生行为记录包括学习时长、学习次数、学习视频的区间等非常完善的学生行为。包含近20万名学生的、总计将近500万人次的视频.原创 2020-08-01 09:32:42 · 4514 阅读 · 1 评论 -
GCC:使用图对比编码的图神经网络预训练模型 KDD2020
论文链接:https://arxiv.org/abs/2006.09963论文来源:KDD 2020摘要图表示学习已经成为解决现实问题的一种强大的技术。节点分类、相似度搜索、图分类和链接预测等各种下游图学习任务都受益于它的最新发展。然而,现有的图表示学习技术侧重于特定领域的问题,并为每个图训练专用的模型,这些模型通常不能转移到域外数据。受最近自然语言处理和计算机视觉的预训练进展的启发,我们设计了图对比编码(GCC)——一个无监督图表示学习框架——来捕获跨多个网络的通用网络拓扑属性。我们将GCC的预训.原创 2020-07-30 17:43:10 · 1828 阅读 · 3 评论 -
ACKRec:注意力异构图卷积深度知识推荐器 SIGIR 2020
论文链接:http://keg.cs.tsinghua.edu.cn/jietang/publications/Sigir20-Gong-et-al-MOOC-concept-recommendation.pdf摘要大规模的在线公开课程(MOOC)正在成为一种流行的教育方式,为学生掌握知识提供了大规模的开放式学习机会。为了吸引学生的兴趣,MOOC提供商使用推荐系统向学生推荐课程。但是,由于一门课程通常包含许多视频讲座,每个讲座都涵盖一些特定的知识概念,因此直接推荐课程会忽略学生对某些特定知识概念的兴趣.原创 2020-07-28 11:25:55 · 1618 阅读 · 14 评论 -
KGPolicy:用于推荐的负采样模型(知识图谱策略网络)WWW 2020
论文链接:https://arxiv.org/pdf/2003.05753.pdf代码链接:https://github.com/xiangwang1223/kgpolicy摘要合理的处理缺失数据在推荐系统中是的一个根本挑战。 目前的大多数工作都是从未观察到的数据中进行负采样,以提供带有负信号的推荐模型训练 。 然而,现有的负采样策略,无论是静态的还是自适应的,都不足以产生高质量的负样本-这既有助于模型训练,也有助于反映用户真实的需求。在这项工作中,我们假设项目知识图(KG),它提供了项目和KG实.原创 2020-07-27 21:32:19 · 2603 阅读 · 1 评论 -
KGSF:通过基于语义融合的知识图谱来改善会话推荐系统 KDD2020
论文链接:https://arxiv.org/pdf/2007.04032.pdf代码链接:https://github.com/RUCAIBox/KGSF1、摘要会话推荐系统(CRS)旨在通过交互式对话向用户推荐高质量的项目。尽管已为CRS做出了一些努力,但仍有两个主要问题有待解决。首先,对话数据本身缺少足够的上下文信息,无法准确地了解用户的偏好。第二,自然语言表达与项目级用户偏好之间存在语义鸿沟。为了解决这些问题,我们结合了面向单词和面向实体的知识图谱(KG)以增强CRS中的数据表示,并采用互.原创 2020-07-27 11:37:01 · 1883 阅读 · 1 评论 -
STAR-GCN:用于推荐系统的图卷积神经网络 IJCAI 2019
论文链接:https://www.ijcai.org/Proceedings/2019/0592.pdf代码链接:https://github.com/jennyzhang0215/STAR-GCN论文来源:IJCAI 2019摘要文章针对推荐系统提出了一种新的堆叠和重构图卷积网络(STAR-GCN)结构来学习节点的表征,提高推荐系统的效率,特别是在冷启动场景。STAR-GCN采用一堆GCN编码器/解码器与中间监督相结合,以提高最终预测性能。同图卷积矩阵分解模型用one-hot节点作为输入不同,S.原创 2020-07-26 20:30:04 · 3222 阅读 · 4 评论 -
RippleNet:知识图谱与推荐系统联合学习 CIKM 2018
论文链接:https://arxiv.org/pdf/1803.03467.pdf代码链接:https://github.com/qibinc/RippleNet-PyTorch参考文档:https://zhuanlan.zhihu.com/p/73716930原创 2020-07-24 11:00:25 · 1708 阅读 · 6 评论 -
基于注意力机制的知识图谱关系预测 ACL 2019
论文链接:https://arxiv.org/pdf/1906.01195.pdf代码链接:https://github.com/deepakn97/relationPrediction论文来源:ACL 2019摘要背景:近年来知识图谱(KGs)的激增,再加上实体之间缺少关系(链接)形式的不完整或部分信息,引发了大量关于知识库补全(也称为关系预测)的研究。最近研究表明,基于CNN的模型能够生成更丰富、更有表现力的特征嵌入,在关系预测方面也有很好的表现。问题:然而,我们观察到这些KG嵌入独立地处理.原创 2020-07-21 20:09:29 · 6078 阅读 · 9 评论 -
TransD:通过动态映射矩阵嵌入(知识图谱嵌入)ACL 2015
论文链接:http://pdfs.semanticscholar.org/a4ad/33855655986d9edcea300db7849d4b8498a0.pdf代码链接:https://github.com/mrlyk423/relation_extraction论文来源:ACL 2015导读知识图谱作为人工智能应用的重要资源,表示学习对知识图谱的完善和应用至关重要。先前提出的TransE、TransH、TransR模型对表示学习提升不少,表示学习对关系抽取、三元组分类以及链接预测等方面具有作.转载 2020-07-21 14:05:21 · 3530 阅读 · 0 评论 -
TransR:实体和关系分开嵌入(知识图谱嵌入)2015 AAAI
论文链接:http://nlp.csai.tsinghua.edu.cn/~lyk/publications/aaai2015_transr.pdf代码链接:https://github.com/mrlyk423/relation_extraction参考文档:https://blog.csdn.net/qq_36426650/article/details/103357256论文来源:2015 AAAI导读TransH在TransE基础上做出的改进,提高了知识表示的效果,在一定程度上解决了复杂.转载 2020-07-19 18:52:59 · 5593 阅读 · 1 评论 -
TransH:将知识嵌入到超平面(知识图谱嵌入)2014 AAAI
论文链接:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.486.2800&rep=rep1&type=pdf论文来源:2014 AAAI导读表示学习是深度学习的基础,将数据用更有效的方式表达出来,才能让深度学习发挥出更强大的作用。表示学习避免了手动提取数据特征的繁琐,允许计算机学习特征的同时,也学习如何提取特征。尽管举例基于翻译(translation)的知识图谱表示学习已经过去了五六年的时间,但是仍不可忽略其重要意.原创 2020-07-19 14:31:40 · 826 阅读 · 0 评论 -
TransE:Translating Embedding多元关系数据嵌入(知识图谱嵌入)2013 NIPS
论文链接:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.447.6132&rep=rep1&type=pdf代码链接:https://github.com/Anery/transE导读表示学习旨在学习一系列低维稠密向量来表征语义信息,而知识表示学习是面向知识库中实体和关系的表示学习。当今大规模知识库(或称知识图谱)的构建为许多NLP任务提供了底层支持,但由于其规模庞大且不完备,如何高效存储和补全知识库成为了一项非常重.原创 2020-07-18 21:33:03 · 1663 阅读 · 1 评论 -
Transformer新内核Synthesizer:低复杂度的attention代替点乘式的注意力机制
论文链接:https://arxiv.org/pdf/2005.00743.pdf参考文档:https://mp.weixin.qq.com/s/e2Cor8amz7GiFfBGdLXULg导读今天阅读的是一篇来自Google的最新论文《SYNTHESIZER: Rethinking Self-Attention in Transformer Models》,该论文重新探索了Transformer中注意力机制的必要性,并引入了新的attention计算方法Synthesizer。实验显示,即使不进行.原创 2020-07-17 14:07:43 · 1148 阅读 · 0 评论 -
GATNE:阿里电商场景下的大规模异构网络表示学习 KDD2019
论文链接:https://arxiv.org/pdf/1905.01669.pdf代码链接:https://github.com/THUDM/GATNE论文来源:KDD2019摘要网络嵌入(图嵌入)在真实世界中已经有了非常大规模的应用,然而现存的一些网络嵌入(图嵌入)相关的方法主要还是集中在同质网络的应用场景下,即节点和边的类型都是单一类型的情况下。但是真实世界网络中每个节点的类型都多种,每条边的类型也有多种,而且每一个节点都具有不同且繁多的属性。所以本论文提出了一种在Attributed Mul.原创 2020-07-15 16:05:32 · 1645 阅读 · 0 评论 -
XLNet:广义自回归预训练语言模型 2019 NIPS
论文链接:https://arxiv.org/pdf/1906.08237v1.pdf代码链接:https://github.com/zihangdai/xlnet导读今天学习的是谷歌大脑的同学和 CMU 的同学的论文《XLNet: Generalized Autoregressive Pretraining for Language Understanding》,于 2019 年发表于 NIPS,目前引用超 300 次。XLNet 是一个广义自回归预语言模型,它在 Transformer-XL .原创 2020-07-13 15:41:24 · 1142 阅读 · 0 评论 -
ALBERT:轻量级BERT语言模型 ICLR2020
论文链接:https://arxiv.org/pdf/1909.11942.pdf代码链接:https://github.com/google-research/ALBERT导读今天阅读的是 Google 同学 2020 年的ICLR论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》。我们知道模型效果会随着模型深度的增加得到提升,然而模型深度的增加也会使得训练变得更困难,为了解决这个问题,.原创 2020-07-12 15:46:09 · 3344 阅读 · 1 评论 -
Transformer-XL语言模型:超长上下文依赖
论文链接:https://arxiv.org/pdf/1901.02860.pdf代码链接:https://github.com/kimiyoung/transformer-xl参考来源:https://mp.weixin.qq.com/s/C1hXU3HMSXSY5Ru9r1CZAA导读今天学习的是谷歌大脑的同学和 CMU 的同学于 2019 年联合出品的论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Cont.原创 2020-07-11 21:11:04 · 1418 阅读 · 0 评论 -
GPT2.0语言模型 Language Models are Unsupervised Multitask Learners
论文链接:https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdfTensorflow代码链接:https://github.com/openai/gpt-2Pytorch代码链接:https://github.com/huggingface/pytorch-pretrained-BERT参考文档:https://mp.weixin.qq.com/s/c0LXAj5tN_59eJKc8yBTLQ参考.原创 2020-07-11 10:39:08 · 7322 阅读 · 0 评论 -
GPT语言模型:通过生成式预训练改善语言理解 OpenAI 2018
论文链接:https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf代码链接:https://github.com/openai/finetune-transformer-lm参考文档:https://mp.weixin.qq.com/s/VI5hvcZejJL9ftdDcgMZQA导读今天阅读的是 OpenAI 2018 年的论文《Improving Language Understanding by Gener.原创 2020-07-10 09:29:02 · 2502 阅读 · 2 评论 -
ELMo:基于语境的深度词表示模型 NAACL 2018 Best Paper
论文链接:https://arxiv.org/abs/1802.05365代码链接:https://github.com/allenai/allennlp论文来源:NAACL 2018导读参考来源:https://mp.weixin.qq.com/s/myYKfOvN9LvMmSRUJudmpA参考来源:https://zhuanlan.zhihu.com/p/37915351今天学习的是 AllenNLP 和华盛顿大学 2018 年的论文《Deep contextualized word r.原创 2020-07-08 14:56:13 · 640 阅读 · 0 评论 -
BERT: Bidirectional Encoder Representations from Transformers双向Transformer用于语言模型 NAACL 2018
论文链接:https://arxiv.org/abs/1810.04805tensorflow版本代码链接:https://github.com/google-research/bertpytorch版本代码链接:https://github.com/codertimo/BERT-pytorch导读这篇论文由谷歌团队发表于2018年的NAACL上《BERT: Pre-training of Deep Bidirectional Transformers for Language Understan.原创 2020-07-02 16:57:06 · 4053 阅读 · 0 评论 -
Structural Deep Clustering Network 基于GNN的深度聚类算法 WWW2020
论文链接:https://arxiv.org/abs/2002.01633代码与数据集链接:https://github.com/lxk-yb/SDCN摘要聚类是数据分析中一个基础任务。最近,深度聚类(从深度学习方法中获取到主要的灵感)取得了领先的效果,并且吸引了很多的注意力。目前的深度聚类方法一般通过深度学习强大的表示能力提升聚类的结果,例如,自动编码器表明,对聚类来说学到一个有效的表示是必须的。深度聚类方法的要点一般在于能够从数据本身抽取出有用的表示,而不是数据的结构,这(因此数据的结构)在表示.原创 2020-06-17 14:45:21 · 5058 阅读 · 3 评论 -
基于生成对抗的知识图谱零样本关系学习 AAAI2020
论文来源:AAAI 2020论文链接:https://arxiv.org/pdf/2001.02332.pdf本文是发表在AAAI2020上的一篇基于生成对抗网络进行知识图谱零样本关系学习的文章。在知识图谱表示学习(KG Embedding)的相关工作中,会出现一些未在训练数据集中出现过的关系(即 zero-shot relations),由于relation及其相关的三元组没有在训练数据集...原创 2020-04-20 19:39:48 · 1867 阅读 · 1 评论 -
异质图神经网络及其在电商领域中的应用
今天,我们首先将介绍北邮计算机学院教授石川的《异质图神经网络及其在电商中的应用》。本次讲座中,石川针对图神经网络研究的重要挑战——传统采用的是同质图数据,无法满足业界交互系统对异质图的实际需求,介绍了自己对于解决方案的一系列相关研究工作,包括:异质信息网络的表示学习、浅层模型、深层模型、元路径的选择等关键技术以及它们在电子商务问题中的应用等。1、异质信息网络的表示学习作为机器学习和数据挖掘的...原创 2020-04-15 17:36:58 · 2868 阅读 · 0 评论 -
浅谈零样本网络表示学习 AAAI2018 & TKDE2020
1、什么是零样本网络表示学习这个问题主要来自两篇论文 AAAI 2018 和 TKDE 2020,在正式开始介绍零样本网络表示学习(Zero-shot Graph Embedding, ZsGE)之前,我们首先介绍一下什么是零样本学习。论文来源:AAAI2018论文链接:https://zhengwang100.github.io/pdf/2018/AAAI18_RSDNE.pdf代码链...原创 2020-04-10 18:33:20 · 636 阅读 · 0 评论 -
A Survey on Knowledge Graph-Based Recommender Systems 知识图谱提升推荐系统准确性与可解释性ArXiv 2020
论文链接:https://arxiv.org/pdf/2003.00911.pdf导读近来,知识图谱用于推荐系统是关注的焦点,能够提升推荐系统的准确性与可解释性。如何将知识图谱融入到推荐系统呢? 最近中科院计算所百度微软等学者最新综述论文《A Survey on Knowledge Graph-Based Recommender Systems》,阐述对基于知识图谱的推荐系统进行了系统的...原创 2020-04-06 17:06:29 · 5318 阅读 · 0 评论 -
Composition-based Multi-Relational Graph Convolutional Networks 多关系图神经网络 ICLR 2020
论文来源:ICLR 2020论文链接:https://arxiv.org/abs/1911.03082代码链接:https://github.com/malllabiisc/CompGCN1、引言图神经网络已经成为图数据分析领域的经典算法了,各大顶会上相关的论文也层出不穷.但是,这些工作主要关注点都在如何在简单无向图上设计一个更新颖更复杂的模型,而没有从图数据的复杂程度来考虑.实际生活中...原创 2020-04-03 17:44:56 · 5019 阅读 · 0 评论 -
Circle Loss: A Unified Perspective of Pair Similarity Optimization 圆损失函数,统一优化视角,革新深度特征学习范式 CVPR 2020
论文来源:CVPR 2020论文链接最近旷视做了一项非常fundamental的工作。简单来讲,原来特征学习有 2 种基本范式,分类学习和 pairwise 学习,人们普遍都觉得这两者虽然有联系,但是总体上仍是割裂的。旷视在这项工作中首次将两者放在一个统一的框架下,用一个general 的公式定义了这两种范式,且在这统一的公式下,获得了比两者各自最高水平方法都要好的性能。这项工作已经发表在C...原创 2020-03-30 19:35:28 · 6516 阅读 · 6 评论 -
HetSANN:基于注意力模型,自动挖掘异质网络语义信息 AAAI2020
论文来源:AAAI2020论文链接代码链接原创 2020-03-29 18:00:22 · 1902 阅读 · 1 评论 -
KGAT : Knowledge Graph Attention Network for Recommendation 用于推荐的知识图注意力网络 KDD2019
论文来源:KDD 2019论文链接代码及数据集链接1、摘要在推荐系统领域中,为了使推荐结果更加准确、可解释性更高,不仅要考虑user-item之间的关系,引入外部知识丰富user-item之间的信息也非常有必要。在这方面比较常用的方法主要有FM算法(factorization machine,因子分解机),该方法主要问题在于将user-item作为相互独立的实例,忽视了item之间可能存...原创 2020-03-24 09:33:38 · 5567 阅读 · 8 评论 -
GTN-Graph Transformer Network 图变换网络 NeurIPS2019
来源:NeurIPS 2019论文链接代码链接摘要图神经网络(GNNs)在图表示学习中得到了广泛的应用,实现了节点分类和连接预测等任务的最佳性能。然而,大多数现有的GNNs都被设计为在固定(fix)和同质(homogeneous)的图上学习节点表示。当在不确定的图或由各种类型的节点和边组成的异构(heterogeneous)图上学习表示时,这些限制尤其成问题。本文提出了能够生成新的图结构...原创 2020-03-18 22:13:43 · 6848 阅读 · 0 评论 -
HGAT-用于半监督短文本分类的异构图注意力网络
来源:EMNLP 2019论文链接代码及数据集链接摘要短文本分类在新闻和推特中找到了丰富和有用的标记,以帮助用户找到相关信息。由于在许多实际应用案例中缺乏有标记的训练数据,因此迫切需要研究半监督短文本分类。现有的研究主要集中在长文本上,并且由于稀疏性和有限的标记数据,而现有的研究应用在短文本上表现令人不满意。本文提出了一种新的基于异构图神经网络的半监督短文本分类方法,该方法充分利用了标记...原创 2020-03-17 16:35:58 · 7169 阅读 · 1 评论 -
HetGNN-Heterogeneous Graph Neural Network 异构图神经网络 KDD2019
来源:KDD2019论文链接:https://arxiv.org/abs/1903.07293代码链接:https://github.com/chuxuzhang/KDD2019_HetGNN原创 2020-03-16 12:25:07 · 8025 阅读 · 3 评论 -
HAN - Heterogeneous Graph Attention Network 异构图注意力网络 WWW2019
论文题目:Heterogeneous Graph Attention Network (HAN)异构图注意力网络作者:北京邮电大学Xiao Wang,Houye Ji等人来源:WWW2019论文链接:https://arxiv.org/pdf/1903.07293.pdftensorflow版代码Github链接:https://github.com/Jhy1993/HAN...原创 2020-03-13 18:46:27 · 10017 阅读 · 7 评论