- 博客(11)
- 收藏
- 关注
RSS订阅原创 Learning Knowledge Graph Embedding With Heterogeneous Relation Attention Networks（IEEE2022）
图神经网络（GNNs）作为一种有效的图表示技术，在学习图嵌入方面表现出了令人印象深刻的性能。然而，KGs具有内在的异构性，它包含各种类型的实体和关系。如何同时处理复杂的图形数据和聚合多种类型的语义信息是一个关键问题。本提出了一种基于注意力机制的异构GNNs框架。具体地说，首先在每个关系路径下聚合实体的邻居特征。然后通过关系特征了解不同关系路径的重要性。最后，将每个基于关系路径的特征与学习到的权值进行聚合，生成嵌入表示。因此，该方法不仅可以从不同的语义方面对实体特征进行聚合，而且可以为它们分配适当的权重。
2024-04-30 12:32:24
521
原创 Heterogeneous Graph Attention Network（WWW2019）
图神经网络作为一种基于深度学习的强大图表示技术，表现出优越的性能，引起了广泛的研究兴趣。然而，对于包含不同类型节点和链接的异构图，图神经网络并没有充分考虑这一问题。异构性和丰富的语义信息为设计面向异构图的图神经网络带来了巨大挑战。文中首先提出了一种基于层次注意力的异构图神经网络，包括节点级注意力和语义级注意力。具体来说，节点级注意力旨在学习节点与其基于元路径的邻居节点之间的重要性，而语义级注意力能够学习不同元路径的重要性。结合从节点级和语义级注意力中学习到的重要性，得到节点和元路径的重要性可以充分考虑。
2024-04-24 20:00:39
698
原创 Graph Attention Network（ICLR2018）
论文提出了图注意力网络（GATs），一种操作于图结构数据的新型神经网络架构，利用隐藏的自注意层来解决基于图卷积或其近似的先前方法的缺点。通过堆叠层，其中节点能够关注其邻域的特征，能够(隐式地)为邻域中的不同节点指定不同的权重，而不需要任何类型的代价高昂的矩阵操作(如反转)或依赖于预先知道图结构。通过这种方式，同时解决了基子频谱的图神经网络的几个关键挑战，并使模型易于适用于归纳和传导问题。
2024-04-19 09:56:06
626
原创 《深度学习进阶：自然语言处理(第8章)》-读书笔记
seq2seq 中使用编码器对时序数据进行编码，然后将编码信息传递给解码器。此时，编码器的输出是固定长度的向量。实际上，这个“固定长度”存在很大问题。无论多长的文本，当前的编码器都会将其转换为固定长度的向量。但是，这样做早晚会遇到瓶颈。就像最终西服会从衣柜中掉出来一样，有用的信息也会从向量中溢出。上图，使用各个时刻（各个单词）的隐藏状态向量，可以获得和输入的单词数相同数量的向量。输入了 5 个单词，此时编码器输出 5 个向量。这样一来，编码器就摆脱了“一个固定长度的向量”的制约。
2024-04-16 17:31:05
700
原创 《深度学习进阶：自然语言处理(第7章)》-读书笔记
语言模型根据已经出现的单词输出下一个出现的单词的概率分布。一种可能的方法是选择概率最高的单词。在这种情况下，因为选择的是概率最高的单词，所以结果能唯一确定。也就是说，这是一种“确定性的”方法。另一种方法是“概率性地”进行选择。根据概率分布进行选择，这样概率高的单词容易被选到，概率低的单词难以被选到。在这种情况下，被选到的单词（被采样到的单词）每次都不一样。
2024-04-15 15:21:50
1625
1
原创 《深度学习进阶：自然语言处理(第6章)》-读书笔记
RNN 之所以不擅长学习时序数据的长期依赖关系，是因为 BPTT 会发生梯度消失和梯度爆炸的问题。考虑长度为 T 的时序数据，关注从第 T 个正确解标签传递出的梯度如何变化。此时，关注时间方向上的梯度，可知反向传播的梯度流经 tanh、“+”和 MatMul（矩阵乘积）运算。“+”的反向传播将上游传来的梯度原样传给下游，因此梯度的值不变。那么，剩下的 tanh 和 MatMul 运算会怎样变化呢？
2024-04-14 19:27:32
674
1
原创 《深度学习进阶：自然语言处理(第5章)》-读书笔记
CBOW 模型本来的目的“从上下文预测目标词”是否可以用来做些什么呢？给出了单词序列发生的概率。具体来说，就是使用概率来评估一个单词序列发生的可能性，即在多大程度上是自然的单词序列。比如，对于“you say goodbye”这一单词序列，语言模型给出高概率（比如 0.092）；对于“you say good die”这一单词序列，模型则给出低概率（比如 0.0000000000032）。
2024-04-13 18:37:33
1414
原创 《深度学习进阶：自然语言处理(第4章)》-读书笔记
假设词汇量有 100 万个，CBOW 模型的中间层神经元有 100 个。输入层和输出层存在 100 万个神经元，在如此多的神经元的情况下，中间的计算过程需要很长时间。本章将重点放在 word2vec 的加速上，来改善 word2vec。
2024-04-12 10:53:04
570
原创 《深度学习进阶：自然语言处理(第3章)》-读书笔记
基于计数的方法根据一个单词周围的单词的出现频数来表示该单词。具体来说，先生成所有单词的共现矩阵，再对这个矩阵进行 SVD，以获得密集向量（单词的分布式表示）。在现实世界中，语料库处理的单词数量非常大，使用基于计数的方法就需要生成一个庞大矩阵，但对如此庞大的矩阵执行 SVD 显然是不现实的。基于推理的方法的主要操作是“推理”。当给出周围的单词（上下文）时，预测“？”处会出现什么单词，这就是推理。基于推理的方法引入了某种模型，我们将神经网络用于此模型。
2024-04-11 09:44:41
1447
原创 《深度学习进阶：自然语言处理(第2章)》-读书笔记
在自然语言处理领域，最著名的同义词词典是 WordNet。WordNet 是普林斯顿大学于1985年开始开发的同义词词典，迄今已用于许多研究，并活跃于各种自然语言处理应用中。使用 WordNet，可以获得单词的近义词，或者利用单词网络。使用单词网络，可以计算单词之间的相似度。通过 Python 利用 WordNet，可以使用 NLTK（Natural Language Toolkit，自然语言处理工具包）这个库。
2024-04-10 15:53:23
536
1
原创 《深度学习进阶：自然语言处理(第1章)》-读书笔记
本文为我在阅读《深度学习进阶：自然语言处理》时的读书笔记，供大家参考学习。如侵权，联系删除！
2024-04-10 15:24:46
439
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人