CS224W6.3——图深度学习

最新推荐文章于 2024-07-01 21:22:25 发布
最新推荐文章于 2024-07-01 21:22:25 发布
阅读量359 收藏
点赞数
分类专栏： 图神经网络 文章标签： 深度学习 人工智能 数据挖掘 推荐算法 分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46351593/article/details/134375736
版权

在这篇中，将介绍图神经网络的架构。关键思想是，在GNNs中，根据局部网络邻域生成节点嵌入。gnn通常由任意数量的层组成，而不是单层，以集成来自更大上下文的信息。介绍了如何使用gnn来解决优化问题，以及它强大的归纳能力。

文章目录

1. 主要内容

在这里插入图片描述

2. 初试设置

在这里插入图片描述

3. 简单想法

3.1 直接将邻接矩阵输入

在这里插入图片描述

3.2 CNN想法

在这里插入图片描述

3.3 现实世界中的图结构

在这里插入图片描述

3.4 从图像到图的思想

在这里插入图片描述

4. 图卷积网络

在这里插入图片描述

我们可以简单认为图卷积网络分为两个步骤：

  • 确定节点计算图。
  • 在计算图中传播和转换信息。

4.1 聚合邻域

在这里插入图片描述

在这里插入图片描述

与经典神经网络不同的是，图神经网络中，每个节点都可以定义自己的神经网络架构。

但这样，我们就需要同时训练多个架构。

  • 多层时：

在这里插入图片描述

核心问题是，如何聚合邻域？

在这里插入图片描述

基础方法：

在这里插入图片描述

在这里插入图片描述

4.2 Deep Encoder

在这里插入图片描述

4.3 训练模型

在这里插入图片描述

要想训练我们的模型生成embeddings，我们需要定义损失函数。

确定参数：

在这里插入图片描述

4.3.1 矩阵形式

在这里插入图片描述

在这里插入图片描述

4.3.2 如何训练？

在这里插入图片描述

4.3.3 无监督学习

在这里插入图片描述

4.3.4 监督学习

在这里插入图片描述

在这里插入图片描述

4.4 流程

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5. 归纳能力

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

6. 总结

在这里插入图片描述

阿牛大牛中
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
斯坦福CS224n_自然语言处理与深度学习_笔记
07-15
《斯坦福CS224n：自然语言处理与深度学习》是斯坦福大学开设的一门课程，专注于利用深度学习技术解决自然语言处理（NLP）问题。这门课程的笔记全面覆盖了NLP领域的核心概念、算法以及最新的研究进展。通过深入学习这...
斯坦福 cs224d 深度学习与自然语言处理讲义 fix1
10-19
斯坦福 cs224d 深度学习与自然语言处理讲义 fix1
CS224W 2023 Winter Colab 3 题目
10-21
CS224W 2023 Winter Colab 3 题目
CS224W 2023 Winter Colab 2 题目
10-19
CS224W 2023 Winter Colab 2 题目
CS224W 2023 Fall Colab 1 题目
10-15
CS224W 2023 Fall Colab 1 题目
【深度学习】图形模型基础(2)：概率机器学习模型与人工智能
MUKAMO的博客
06-29 752
概率建模在机器学习中至关重要，它利用概率分布表达不确定性，通过贝叶斯学习从数据中学习。非参数方法、概率编程、贝叶斯优化和数据压缩等技术展示了概率建模的灵活性和效率。自动建模系统能够发现并解释数据模型。随着大数据的增长，不确定性建模依然关键。概率建模将在未来机器学习和人工智能系统中发挥核心作用，为自动化复杂建模和优化提供强大工具。
从零创建深度学习张量库，支持gpu并行与自动微分
新缸中之脑
06-28 913
多年来，我一直在使用 PyTorch 构建和训练深度学习模型。尽管我已经学会了它的语法和规则，但总有一些东西激起了我的好奇心：这些操作内部发生了什么？这一切是如何运作的？如果你已经到这里，你可能也有同样的问题。但是如果我问你这个后退步骤是如何工作的呢？或者，例如，当你重塑张量时会发生什么？数据是否在内部重新排列？这是怎么发生的？为什么 PyTorch 这么快？PyTorch 如何处理 GPU 操作？这些类型的问题一直让我着迷，我想它们也让你着迷。
基于CNN的股票预测方法【卷积神经网络】
最新发布
v20000727的博客
07-01 826
本文探讨了利用卷积神经网络（CNN）进行股票预测的建模方法，并详细介绍了模型的搭建、参数选择以及数据处理方法。
[深度学习] 卷积神经网络CNN
藓类少女的博客
06-25 1092
卷积神经网络（Convolutional Neural Network, CNN）是一种专门用于处理数据具有类似网格结构的神经网络，最常用于图像数据处理。
由浅入深，走进深度学习（补充篇：神经网络结构层基础）
weixin_45325693的博客
06-26 733
假如就是要看一个3 * 3的局部信息的话 卷积核就是一个 3 * 3 的矩阵 不会因为输入变得特别大导致权重变得特别大。可能没有什么文字或者原理上的讲解，基本上都是代码，但是我还是想说，如果基础不是很好，认认真真敲一遍，会有不一样的感受！经过GAP转换后 变成了大小为 1 × 1 × 3 的输出值 也就是每一层 h × w 会被平均化成一个值。假设卷积层的最后输出是h × w × d 的三维特征图 具体大小为6 × 6 × 3。填充在输入周围添加额外的行/列 来控制输出形状的减少量。
【TensorFlow深度学习】大模型参数与算力资源匹配：深度探索与实践
yuzhangfeng的博客
06-25 267
通过持续的技术创新，如算法优化、软硬件协同设计以及智能资源调度，我们可以更好地平衡模型性能与资源消耗，推动AI技术的可持续发展。未来，随着量子计算、光计算等前沿技术的成熟，大模型的训练与应用将进入一个全新的纪元，开启智能计算的新时代。根据OpenAI的报告，自2012年以来，训练最先进的AI模型所需的计算量大约每3.4个月翻一番，这一速度远超摩尔定律。：一项研究显示，对于语言模型，随着参数量的增加，模型的困惑度（Perplexity，衡量语言模型预测准确性的指标）显著下降。
[深度学习] 变分自编码器VAE
藓类少女的博客
06-26 713
变分自编码器（Variational Autoencoders, VAEs）是一种生成模型，它结合了概率图模型和深度学习，通过学习数据的潜在表示来生成新的数据样本。VAEs在数据生成、异常检测、数据压缩等领域具有广泛应用。以下是对变分自编码器的详细介绍。
深度学习经典检测方法概述
Stara的博客
06-28 511
本章主要介绍：评价指标从精度（Precision）、召回率（Recall）到map
深度学习21-30
zsysingapore的博客
06-25 885
1.池化层作用（筛选、过滤、压缩）h和w变为原来的1/2，64是特征图个数保持不变。每个位置把最大的数字取出来用滑动窗口把最大的数值拿出来，把44变成222.卷积神经网络（1）conv：卷积进行特征提取，带参数（2）relu：激活函数，非线性变换，不带参数卷积层和relu搭配组合两次卷积一次池化，池化是进行压缩，不带参数FC全连接层【323210=10240特征，5分类】，有权重参数矩阵。
Transformer模型的压缩与加速：迈向更高效的深度学习
2401_85812026的博客
06-28 400
Transformer模型的压缩和加速是实现其在资源受限环境中应用的关键。本文详细介绍了参数共享、知识蒸馏、量化、剪枝、并行计算等技术，并提供了实际的代码示例。通过这些技术的应用，我们可以有效地减少Transformer模型的计算资源需求，同时保持或甚至提高模型的性能。希望本文能够帮助读者在实际工作中更高效地部署和使用Transformer模型，推动自然语言处理技术的发展和应用。
深度学习在目标检测中的革命性应用与进展
2401_85743969的博客
06-29 526
深度学习在目标检测中的应用彻底改变了计算机视觉领域，提供了前所未有的准确性和效率。本文详细介绍了深度学习在目标检测中的关键技术、算法进展、实际应用以及面临的挑战。随着技术的不断发展，深度学习将继续推动目标检测技术向更智能、更快速、更准确的方向发展。通过本文的学习，读者应该能够全面了解深度学习在目标检测中的应用，并认识到这一技术在未来发展中的潜力和挑战。随着对深度学习技术的深入理解，研究人员和工程师将能够开发出更加先进的目标检测系统，以满足不断增长的市场需求。
【深度学习】常用命令行指令汇总
惊鸿若梦一书生
06-28 75
这些指令对于管理深度学习环境、监控资源使用、调试程序等方面。
【深度学习】图生图img3img论文原理，SD EDIT
q742971636的博客
07-01 602
引导图像合成技术使普通用户能够以最小的努力创建和编辑逼真的图像。关键挑战在于平衡对用户输入（例如，手绘的彩色笔画）的忠实度和合成图像的真实感。现有的基于GAN的方法试图通过使用条件GAN或GAN反演来实现这种平衡，这些方法具有挑战性，通常需要为每个应用单独提供额外的训练数据或损失函数。为了解决这些问题，我们引入了一种基于扩散模型生成先验的新图像合成和编辑方法，即随机微分编辑（SDEdit），该方法通过迭代去噪和随机微分方程（SDE）生成逼真的图像。
基于深度学习的轮廓匹配
weixin_42605076的博客
06-28 743
基于深度学习的轮廓匹配方法通过卷积神经网络、Siamese Network、Triplet Network、GAN等先进技术，实现了对图像中物体轮廓的高效和精确匹配。这些方法在物体检测和识别、机器人导航、医疗图像分析、图像检索等多个领域展现了强大的应用潜力，推动了轮廓匹配技术的发展和应用。掌握和应用这些方法，有助于开发更加智能和高效的轮廓匹配系统。
翻译斯坦福大学课程1：深度学习与自然语言处理1
08-04
这篇摘要介绍了一个项目，该项目是大数据文摘发起的，旨在翻译斯坦福大学的深度学习与自然语言处理课程（CS224d），并将译文免费发布。项目以周为单位更新，鼓励读者参与，并提供了加入的途径。课程内容涵盖自然语言...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值