CS224W4.4——矩阵分解和节点Embeddings

最新推荐文章于 2024-06-12 21:09:41 发布
最新推荐文章于 2024-06-12 21:09:41 发布
阅读量98 收藏
点赞数
分类专栏： 图神经网络 文章标签： 矩阵 线性代数 推荐算法 神经网络 人工智能 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46351593/article/details/134161396
版权

我们稍微切换一下方向，讨论生成节点嵌入的矩阵分解方法。具体来说，我们讨论了前面提到的学习节点嵌入的方法如何与矩阵分解的方法联系起来。基于这些直觉，我们提出了基于矩阵分解和随机游走的嵌入方法的3个局限性。在接下来，我们将介绍针对这些限制的具体解决方案:深度表示学习和图神经网络。

文章目录

1. 回顾Embeddings和矩阵分解

在这里插入图片描述

与矩阵分解的联系：

在这里插入图片描述

2. 矩阵分解

最简单的定义相似度：

在这里插入图片描述

3. 基于Ramdom Walk的相似度：

在这里插入图片描述

在这里插入图片描述

4. 局限性

  1. 不适合用于新增加的节点。

在这里插入图片描述

  1. 不能捕捉图结构信息：

在这里插入图片描述

  1. 不能使用节点、边、图的特征信息。

在这里插入图片描述

5. 总结

在这里插入图片描述

阿牛大牛中
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks
小哲的博客
05-08 1582
Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks
图节点嵌入概述（Node Embeddings）
08-23
这部分是关于学习节点嵌入的方法。这些方法的目标是将节点编码为低维向量，这些低维向量总结了它们的图位置和它们的局部图邻域的结构。
Scikit-network-10：Embedding
uncle_ll的博客
03-07 177
通过力量定向算法 Atlas2 表示图的嵌入。通过邻接矩阵的广义奇异值分解表示图的嵌入。使用分层Louvain算法表示图的嵌入。通过邻接矩阵的奇异值分解表示图的嵌入。通过邻接矩阵的主成分分析表示图的嵌入。通过Louvain聚类表示图的嵌入。通过力定向算法表示图的二维嵌入。通过随机投影表示图的嵌入。
cs224w（图机器学习）2021冬季课程学习笔记5 Colab 1：Node Embeddings
诸神缄默不语的博客
06-04 5722
cs224w（图机器学习）2021冬季课程学习笔记5 Colab 1：Node Embeddings 以无向图 Karate Club Network（有34个节点，78条边）为例，探索该数据集的相关统计量，并将从NetworkX下载的数据集转换为PyTorch的Tensor格式，用边连接作为节点相似性度量指标实现shallow encoder（以 nn.Embedding 为embedding-lookup）的节点嵌入代码。
CS224W图神经网络笔记自用：Graph Neural Networks
m0_49832700的博客
09-06 335
Jure Leskovec斯坦福CS224W图机器学习笔记自用：Graph Neural Network
cs224w（图机器学习）2021冬季课程学习笔记8 Colab 2
诸神缄默不语的博客
06-10 5166
cs224w（图机器学习）2021冬季课程学习笔记8 Colab 2 1. PyG包的Dataset和Data 2. ogb包介绍 3. 节点预测任务 4. 图分类任务
CS224W6.3——图深度学习
weixin_46351593的博客
11-13 358
在这篇中，将介绍图神经网络的架构。关键思想是，在GNNs中，根据局部网络邻域生成节点嵌入。gnn通常由任意数量的层组成，而不是单层，以集成来自更大上下文的信息。介绍了如何使用gnn来解决优化问题，以及它强大的归纳能力。我们可以简单认为图卷积网络分为两个步骤：与经典神经网络不同的是，图神经网络中，每个节点都可以定义自己的神经网络架构。但这样，我们就需要同时训练多个架构。核心问题是，如何聚合邻域？基础方法：要想训练我们的模型生成embeddings，我们需要定义损失函数。确定参数：
论文研读 —— 9. DensePose From WiFi
老程的技术笔记
02-12 2956
计算机视觉和机器学习技术的进步已经导致RGB摄像头、LiDAR和雷达中2D和3D人体姿势估计的重大发展。然而，图像中的人体姿势估计受到遮挡和照明的不利影响，这在许多关注的场景中是常见的。另一方面，雷达和LiDAR技术需要专门的硬件，价格昂贵，耗能大。此外，在非公共区域放置这些传感器会引发严重的隐私问题。为了解决这些局限，最近的研究已经探索了使用WiFi天线（1D传感器）进行身体分割和关键点身体检测。本文进一步拓展了WiFi信号与计算机视觉中常用的深度学习体系结构的结合，以估计密集的人体姿势对应关系。
【cs224n-2019学习笔记-2】notes01-wordvecs1: Introduction, SVD and Word2Vec
好想成为大佬啊的博客
12-28 377
notes是对上课内容的细节补充，本文主要对notes01-wordvecs01进行翻译，并为了更易于理解和阅读，做了部分删减和重组织。
Re2：读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
诸神缄默不语的博客
08-25 794
Re2: 读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks 1. 模型构造思路 2. Notation和模型介绍 3. 详细的数学推导和证明 4. 实验结果 5. 代码实现和复现 6. 参考资料
A Survey on Contextual Embeddings.pdf
10-30
contextual embedding 综述 Contextual embeddings, such as ELMo and BERT, move beyond global word represen- tations like Word2Vec and achieve ground- breaking performance on a wide range of natu- ral ...
S5P2_词嵌入 Word Embeddings1
08-04
②欧德距离平距离 ②左右各4个词 ③仅使最后个词 ②NegativeSampling负采样 ①成数据集选择个上下词语context然后选择个标词Target
embeddings.js:网络上的字词嵌入
04-29
embeddings.js 网络上的字词嵌入 博客文章： : 词嵌入通常需要大量参数，这会导致较大的内存和存储空间。 这使得部署前训练字的嵌入像和在移动和浏览器环境非常困难。 在这个项目中，我们将使用简单的后处理技术...
bias-in-word-embeddings:w266的最终项目
03-31
评估词嵌入中的偏差Joshua Archer和Ben Chu的w266最终项目：自然语言处理和深度学习MIDS 21
跟着AI学AI_07张量、数组、矩阵
退休码农的自留地
06-12 498
数组是一种线性数据结构，可以具有多个维度。矩阵是二维数组，特别适用于线性代数操作。张量是更广泛的概念，可以表示任意维度的数据。张量的灵活性和广泛应用，使其成为现代机器学习和深度学习的核心数据结构。理解张量及其与数组和矩阵的关系，对于进行高效的数据操作和计算至关重要。
力扣74. 搜索二维矩阵
akdjfhx的博客
06-10 181
力扣74. 搜索二维矩阵
【线性代数】向量空间，子空间，向量空间的基和维数
EllaZeng的博客
06-09 1216
设V为n维向量的集合，如果V非空，且集合V对于向量的加法以及数乘两种运算封闭，那么就称集合V为向量空间x，y是n维列向量。x向量组等价说明可以互相线性表示向量组等价则生成的向量空间是一样的。
【线性代数】【一】 1.4 矩阵运算
最新发布
liuyider的博客
06-12 1136
这篇博客写在1.5 矩阵的逆之后，很惭愧，写完了逆的部分，发现还没有完整地介绍一下矩阵的运算，直接加在逆那篇又嫌冗长，只好单独补一篇。没写也是因为纠结需不需要写，矩阵的运算像从小就学的加减乘除四项运算一样刻入脑海，以至于都忽视了它。不过本着系列的完整性，还是写吧。本文完善了矩阵运算的说明，其中重点是矩阵乘法中的线性组合的理解方式，以及分块矩阵乘法。在以后的计算中适当的通过分块（包括线性组合）的方式进行矩阵乘法运算，可以简化过程，并且理解到不一样的地方，让我们拭目以待。
可以解释一下positional encodings和 embeddings的区别吗
04-23
当我们使用神经网络来处理语言时，我们需要将输入的文本（例如单词或字符）转换为可以用于神经网络处理的数值表示。这种转换称为嵌入（embedding）。然而，在自然语言处理的序列数据中，单词或字符的顺序也非常重要。为了准确建模这些信息，我们需要将位置信息合并到我们的嵌入中。这些位置信息就是位置编码（positional encoding）。因此，区别在于，前者是将文本转换为数值表示的过程，而后者是将位置信息合并到这些数值表示中以捕获序列信息的方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值