cs224w（二） Traditional Methods for Machine Learning in Graphs

最新推荐文章于 2024-07-08 23:55:28 发布
最新推荐文章于 2024-07-08 23:55:28 发布
阅读量132 收藏
点赞数
分类专栏： 图神经网络 文章标签： 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24772849/article/details/121130695
版权

cs224w（二） Traditional Methods for Machine Learning in Graphs

文章目录


参考博文： 大佬笔记
图数据有两种特性，一种是图中节点连接所形成的拓扑结构，另一种是图（包括节点和边）具有的特征和属性。

节点的特征

节点的度

节点的度是指某个节点所连接的边（邻居节点）的数量，节点的度将所有邻居节点视为同等重要。

节点的中心性

Eigenvector centrality

如果邻居节点重要，则节点本身也重要。
我们将节点v的中心性表述为邻居节点中心性的和
在这里插入图片描述

以矩阵形式重写递归方程
在这里插入图片描述

我们可以看到中心性就是特征向量。最大的特征值总是正的并且唯一，所以对应的最大特征向量可以就是特征向量中心性

Betweenness centrality

如果一个节点处于很多节点对的最短路径上，那么这个节点是重要的。
在这里插入图片描述

Closeness centrality

如果一个节点距离其他节点距离最短，那么节点是重要的
在这里插入图片描述

聚类系数

衡量邻居节点的连接程度
在这里插入图片描述

如图，对于v节点来说，左图它的四个邻居节点都互相相连，6/6=1,中图四个邻居节点只有三条边互相连接，3/6=0.5，右图它的四个邻居节点互相之间没有连接，故0/6=0
聚类系数衡量的是某个节点的邻居节点的连接紧密性，

Graphlets

根连通的异构子图
在这里插入图片描述

Graphlet Degree Vector(GDV):以给定节点为根的graphslet的计数向量。
在这里插入图片描述

考虑2-5个节点的graphlets，我们得到73个坐标的向量GDV，描述节点邻域的局部拓扑结构，可以捕获4跳距离的互联性。

Graphlet degree vector提供了节点局部网络拓扑的度量：比较两个节点的向量提供了比节点度或聚类系数更详细的局部拓扑相似性度量。

总结

我们介绍了不同的方式来获取节点的特征。
它们可以分为两类，
捕获节点在图中的重要性：节点的度，不同节点中心性度量，用于预测图中有影响的节点，例如预测社交网络中的名人用户。
捕获节点结构属性：节点的度，聚类系数，Graphlet count vector，用于预测节点在图中扮演的角色，例如预测蛋白质相互作用网络中的蛋白质功能。

边的特征

Distance-based feature

两点间最短路径的距离
在这里插入图片描述

但是，并不能反映邻域重叠的程度，如（B,H）有两个共同邻居，而（B,E）和（A,B）只有一个。

Local neighborhood overlap

捕获两个节点的共同邻居数目
在这里插入图片描述

局部邻域特征的限制性：
如果两个节点没有任何共同的邻居，则度量值始终为零。但是，这两个节点将来仍可能连接。
全局邻域重叠度量通过考虑整个图来解决这一限制。

Global neighborhood overlap

Katz index：计算给定节点对之间所有长度路径的条数。
通过计算邻接矩阵的k次幂，来得到对应节点对之间长度为k的路径的条数
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

总结

Distance-based features：使用两个节点之间的最短路径长度，但不捕获邻域重叠的方式。
Local neighborhood overlap：捕获两个节点共享的相邻节点数。但是在没有共享相邻节点时变为零。
Global neighborhood overlap：使用全局图结构对两个节点进行评分。Katz index统计两个节点之间所有长度的路径。

图的特征

目标：我们需要表征整个图形结构的特征

Graph Kernels:衡量两个图的相似度

Bag-of-Words (BoW)

BoW只是将节点的数目作为图的特征（且不考虑节点排序）。
如图，由于两个图都有4个红色节点，这两个不同图的特征向量是相同的。
在这里插入图片描述

如果我们使用Bag-of-node degrees呢？
在这里插入图片描述

第一个图节点度为1的节点有一个，节点度为2的节点有两个，节点度为3的节点有一个，第二个图节点度为1的节点为零个，节点度为2的节点有两个，节点度为3的节点有两个。这两个图的特征向量不同！

Graphlet内核和Weisfeiler-Lehman（WL）内核都使用图形的包表示，比节点度更复杂！

Graphlet Kernel

关键思想：计算一个图形中不同Graphlet的数量。
注：此处Graphlet的定义与节点级特征略有不同。不同点在于：

  1. 此处Graphlet中的节点不需要连接（允许隔离节点）
  2. 这里的Graphlet没有根
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

给定两个图G和G’,graphlet kernel 计算为
在这里插入图片描述

但是当G和G’大小不同，这个值就会扭曲，解决方法就是将特征向量标准化
在这里插入图片描述

缺点：计算graphlets是非常困难的，因为子图同构测试（判断一个图是否是另一个图的子图）是NP难的。

Weisfeiler-Lehman Kernel

目标：设计一种高效的图形特征描述符
思想：使用邻域结构以迭代方式丰富节点表。
在这里插入图片描述

即给定V个节点的图G，为每个节点v分配一个初始的颜色c(v),然后通过公式迭代更新节点的颜色，在K轮颜色更新后，c(v)就总结了k-hop邻域的结构
在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

在这里插入图片描述

WL内核计算效率高，当计算内核值时，只需要跟踪两个图中出现的颜色。时间复杂度在#（边）中是线性的。

总结

Graphlet Kernel:图被表示为Bag-of-graphlets,计算相当复杂。
Weisfeiler-Lehman Kernel:图被表示为Bag-of-colors,计算效率高，利用k-step颜色更新算法来丰富节点的颜色，非常近似图神经网络。

深度学习萌
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
CS224W摘要02.Traditional Methods for Machine Learning in Graphs
老毛的博客
09-12 355
文章目录Node-level Tasks and FeaturesNode degreeNode centralityClustering coefficientGraphlets小结 CS224W: Machine Learning with Graphs 这节主要从以下三个方面 Node-level prediction Link-level prediction Graph-level prediction 以无向图为例，讲解传统的特征工程咋整。 Node-level Tasks and Featur
Machine Learning with Graphs 之 Traditional Methods for Machine Learning in Graphs
pku_langzi的博客
11-18 633
图学习
GNN-CS224W: 1-2 Introduction； Traditional Methods for machine learning in Graphs
u012492756的博客
03-19 962
node-level, link-level, graph-level tasks and features
CS224W: Machine Learning with Graphs - 02 Traditional Feature-based Methods
fxb163的博客
10-20 171
CS224W: Machine Learning with Graphs - 02 Traditional Feature-based Methods
【MindSpore学习打卡】应用实践-自然语言处理-深入理解LSTM+CRF在序列标注中的应用
weixin_43427267的博客
07-08 885
CRF是一种概率图模型，适用于捕获序列中相邻Token之间的依赖关系。设xx0xnxx0​...xn​为输入序列，yy0ynyy0​...yn​为输出的标注序列，其中nnn为序列的最大长度。则输出序列yyyPy∣xexp⁡Scorexy∑y′∈Yexp⁡Scorexy′Py∣x∑y′∈Y​expScorexy′expScorexy​其中，Scorexy。
深度学习中的超参数及超参数搜索算法
qlkaicx的博客
07-08 236
在深度学习中，超参数（Hyperparameters）是指在训练模型时需要预先设置的参数，它们不会在训练过程中自动更新，而是通过手动调整来优化模型的性能。超参数的设置对模型的训练效果有着至关重要的影响。
Towards Deep Learning Models Resistant to Adversarial Attacks
一季南凉的博客
07-06 210
探讨了当前对抗攻击防御研究中的挑战，如计算开销、对抗样本的多样性和防御方法的泛化能力等。并提出了未来研究的方向，如开发更高效的防御算法、提升模型的可解释性和透明性等。：重点讨论了几种防御对抗攻击的方法，包括对抗训练、梯度掩蔽和模型集成等。总的来说，这篇论文综述了当前深度学习模型在面对对抗攻击时的脆弱性，并介绍了不同的防御策略及其效果，为未来开发更鲁棒的深度学习模型提供了理论基础和实践指导。：介绍了评估模型对抗攻击鲁棒性的方法和标准，如准确率曲线、失效率和对抗容忍度等。这篇论文的主要内容是关于。
深度学习全景进阶：最新Python深度学习进阶与前沿应用
weixin_58566962的博客
07-08 259
近年来，伴随着以卷积神经网络（CNN）为代表的深度学习的快速发展，人工智能迈入了第三次发展浪潮，AI技术在各个领域中的应用越来越广泛。系统掌握AI新理论、新方法及其Python代码实现。
深度学习（笔记内容）
2301_78488802的博客
07-08 69
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/pip install -i https://pypi.mirrors.ustc.edu.cn/simple/pip install -i http://mirrors.aliyun.com/pypi/simple/pip install -i https://pypi.douban.com/simple/pip使用阿里云的镜像源。pip使用清华源镜像源。
RNN文献综述
暴力扬
07-05 1054
循环神经网络（Recurrent Neural Network，RNN）是一种专门用于处理序列数据的神经网络模型。它在自然语言处理、语音识别、时间序列预测等领域有着广泛的应用。本文将从RNN的历史发展、基本原理、应用场景以及最新研究进展等方面进行综述。
基于CNN的股票预测方法【卷积神经网络】
v20000727的博客
07-01 1004
本文探讨了利用卷积神经网络（CNN）进行股票预测的建模方法，并详细介绍了模型的搭建、参数选择以及数据处理方法。
计算机毕业设计Python美食推荐系统 美团爬虫 美食可视化 机器学习 深度学习 混合神经网络推荐算法 Hadoop Spark 人工智能 大数据毕业设计
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
07-08 524
计算机毕业设计Python美食推荐系统 美团爬虫 美食可视化 机器学习 深度学习 混合神经网络推荐算法 Hadoop Spark 人工智能 大数据毕业设计
【深度学习】探讨最新的深度学习算法、模型创新以及在图像识别、自然语言处理等领域的应用进展
最新发布
weixin_51306394的博客
07-08 799
深度学习作为人工智能领域的重要分支，近年来在算法、模型以及应用领域都取得了显著的进展。以下将探讨最新的深度学习算法与模型创新，以及它们在图像识别、自然语言处理（NLP）等领域的应用进展。
基于深度学习的频谱分析
weixin_42605076的博客
07-08 482
基于深度学习的频谱分析是一种利用深度学习算法处理和分析频谱数据的技术。频谱分析广泛应用于通信、雷达、医学成像、音频处理和地震波分析等领域。
解锁深度学习黑箱：注意力机制的神秘力量
2401_85702623的博客
07-06 530
在深度学习领域，注意力机制（Attention Mechanism）是一种资源分配策略，它使得模型能够集中于数据中最重要的部分。注意力机制是深度学习中的一种关键技术，它通过模仿人类的注意力过程来提高模型的性能和可解释性。自注意力是一种特殊类型的注意力机制，它允许序列的每个元素都与序列中的其他元素进行交互。软注意力生成一个实数权重分布，权重之和为1，表示模型对输入的不同部分的关注度。注意力机制提供了一种解释模型决策过程的方式，增加了模型的可解释性。
【深度学习】什么是交叉注意力机制？
q742971636的博客
07-03 866
输入序列：自注意力机制在同一个输入序列内建立注意力，交叉注意力机制在不同的输入序列间建立注意力。应用场景：自注意力机制多用于单一模态的任务（如纯文本任务），交叉注意力机制多用于多模态任务（如图像和文本的结合）。计算过程：自注意力机制的查询、键和值都来自同一个输入序列，而交叉注意力机制的查询来自一个输入序列，键和值来自另一个输入序列。
【深度学习】第3章实验——回归模型
m0_37932764的博客
07-05 200
根据相关数据集进行回归分析。
高创新 | CEEMDAN-VMD-GRU-Attention双重分解+门控循环单元+注意力机制多元时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
07-08 553
高创新 | CEEMDAN-VMD-GRU-Attention双重分解+门控循环单元+注意力机制多元时间序列预测
which library can facilitate the process of machine learning in python?
05-26
There are several popular libraries for machine learning in Python, including: 1. Scikit-learn: This is a widely-used library for various machine learning tasks such as classification, regression, ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值