理论
NLP&KGer
细节决定模型的好坏
展开
-
双曲图嵌入Low-Dimensional Hyperbolic Knowledge Graph Embeddings
知识图谱嵌入为实体和关系学习低维的向量表示,KG往往表现出分层和逻辑模式,希望这些都能在嵌入空间中表现出来。对于分层结构,双曲空间有很大的优点,它能保持高保真和很小的嵌入维度。但是,现有的双曲嵌入方法均未考虑KG中丰富的逻辑模式。这里介绍一类双曲KG嵌入,它能同时捕获分层和逻辑模式。结合带注意力的反射和旋转来建模复杂的关系模式。IntroductionKGs是表示知识的很有效的数据结构,已应用到很多下流的应用中,如词义消歧、问答系统和信息检索。现实中的知识图谱,如Yago,WordNet, 往往是不原创 2020-10-26 16:48:44 · 2733 阅读 · 1 评论 -
幂率分布
在研究网络嵌入时经常会看到幂律分布及无标度,但是以前不太明白这一现象及其产生原因,通过这篇博文,从直观层面上理解了这一分布。这是从别处抄来的,加了点个人理解。以通俗易懂的方式解释了‘幂律分布’现象及其背后的起因,原文的网址https://www.jianshu.com/p/5ae3d2e72266好,我们先来看一组现象,一组常见又特别奇怪的现象:在抖音和快手上,有的短视频能够吸引...原创 2020-02-06 11:43:23 · 1956 阅读 · 0 评论 -
GRAPH ATTENTION NETWORKS笔记
本文介绍GAT,一个新的在图结构数据上进行操作的神经网络架构。卷积神经网络已经成功地解决图像分类、语义分割、和机器翻译等问题,在这些问题中,数据都是规则的结构。而很多任务包含不规则的数据,比如社交网络、生物网络等,这样的数据往往以图的方式进行表示。已经有很多人试图扩展神经网络以解决任意的图结构数据,早期的工作用RNN处理有向无环图,2005年和2009年提出的GNN能处理更多类型的图结构,如循...原创 2020-01-31 17:14:51 · 518 阅读 · 0 评论 -
欧式空间中向量的2范数与向量内积之间的关系
2-范数是由向量的内积导出的原创 2019-12-19 21:27:02 · 4351 阅读 · 3 评论 -
Hyperbolic Nural Networks双曲神经网络
给了神经网络中一些操作的双曲版本的定义,NIPS2018的文章,原文在此:https://arxiv.org/abs/1805.09112双曲空间在机器学习领域获得越来越多的冲力,因为它有很大的容量和它的类似于树的性质。然而,双曲几何的表达能力未能与欧式几何势均力敌,主要原因是目前还没有相应的双曲神经网络层,使得很难在下游任务中使用双曲嵌入。这里几何莫比乌斯gyrovevtor空间和双曲空间庞...原创 2019-12-12 20:53:47 · 6236 阅读 · 0 评论 -
Hyperbolic Graph Convolutional Neural Networks
斯坦福出的,双曲空间上的GCN,有点抽象,但还是想啃啃。原文地址:https://arxiv.org/abs/1910.12933v1GCN将图上的节点映射到欧式空间,在映射无标度网络或分层结构时会失真,双曲几何提供了一个解决方案,因为它能保证有很小的失真。但是,将GCN扩展到双曲几何上有很多挑战,因为不清楚如何在双曲空间上定义神经网络算子,如特征转换和聚合。另外,由于输入特征通常是欧式空...原创 2019-11-19 15:11:49 · 5745 阅读 · 2 评论