HIV+Network embedding.md

最新推荐文章于 2022-10-19 22:41:44 发布
最新推荐文章于 2022-10-19 22:41:44 发布
阅读量457 收藏 1
点赞数
分类专栏： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lee_ham/article/details/82960849
版权

HIV+Network embedding

最近读一篇论文，内容涉及到HIV、Network Embedding，了解了一波，今天简单做一下总结。

HIV相关

IN—信息网络(Information Network)

G = (V, E)

V代表 Object，E代表 Edge；

object类型集合A，边的类型集合R；

ϕ : V → A 来表示每一个object v ∈ V 属于object类型集合A: ϕ(v) ∈ A

ψ : E → R.表示每条边 e ∈ E 属于边的类型集合R: ψ(e) ∈ R

很多很多节点，很多很多边；将节点分类别、边分类别；如果两条边连接的起始节点和终止节点的type都相同，则这两条边是同一种类型。

异构/同构信息网络(Heterogeneous/homogeneous information Network)

如果|A| > 1 或者 |R| > 1 ，则该信息网络为异构信息网络，或简称为异构网络，否则为同构网络。

也就是说，如果节点的类型或者边的类型多于1，即为异构网络。

网络模式(Network schema)

异构信息网络的network schema TG = (A, R)，要指定objects和links的类型约束，就是这种约束使得异构网络变为半结构化。

约束哪些类型的节点之间可以有连接。

网络实例

following 某种 network schema的信息网络可以称为这种网络模式的网络实例

元路径(Meta path)

元路径P是定义在网络模式TG = (A, R)上的，如A1→R1A2→R2A3…→RlAl+1表示了从A1A1 到Al+1的复杂的关系，R=R1∘R2∘R3∘RI。元路径P的长度即为关系R的个数。

元图(Meta graph)

网络模式(Network schema)的子图

其他理解

Heterogeneous information network (HIN) .
A HIN is defined as a graph G = (V, E) with an entity type mapping ϕ: V → A and a relation type mapping ψ: E → R, where V denotes the entity set and E is the relation set, A denotes the entity type set and R is the relation type set, and the number of entity types |A| > 1 or the number of relation types |R| > 1. The network schema [28] for a HIN G, denoted as TG = (A, R), is a graph with nodes as entity types from A and edges as relation types from R.

meta-graph

A meta-graph M is a directed acyclic graph with a single source node ns and a single target node nt , defined on a HIN G = (V, E) with schema TG = (A, R). Formally, a meta-graph is defined as M = (VM , EM , AM , RM ,ns ,nt ), where VM ⊆ V, EM ⊆ E constrained by AM ⊆ A and RM ⊆ R, respectively.

Network Embedding

网络表示学习（DeepWalk，LINE，node2vec，SDNE）

网络表示学习综述：一文理解Network Embedding

word2vec与skipgram

Word2Vec介绍：直观理解skip-gram模型

一文详解 Word2vec 之 Skip-Gram 模型（结构篇）

1.什么是Skip-gram算法

Skip-gram算法就是在给出目标单词（中心单词）的情况下，预测它的上下文单词.

img

图中的love是目标单词，其他是上下文单词，那么我们就是求 P(w_{you}|w_{love}) 、 P(w_{Do}|w_{love})、 P(w_{deep}|w_{love}) 、 P(w_{learning}|w_{love}) 。

2.目标是什么

我们的目标是计算在给定单词的条件下，其他单词出现的概率！

3. 定义表示法

one-hot向量
one-hot向量就是利用一个 R^{|V|\times1} 向量来表示单词。

|V|是词汇表中单词的数量。

一个单词在英文词汇表中的索引位置是多少，那么相对应的那一行元素就是1，其他元素都是0。
w^{word}=\begin{vmatrix} 0 \0 \0 \\vdots \ 1 \ \vdots \ 0 \end{vmatrix}
还是以我们的例句"Do you love deep learning"为例。love的one-hot向量就是：
w^{love}=\begin{vmatrix} 0 \0 \1 \ 0 \ 0 \end{vmatrix}
由于我们只有5个单词，因此，ong-hot向量的行数是5，love是第3个单词，因此索引3位置的数是1。
我们用 w_c 来表示目标单词的one-hot向量。
词向量（word vector）
词向量就是用一组d维的向量代表单词，如下：
v^{c}=\begin{vmatrix} 0.2 \0.4 \1.3 \\vdots \ 0.9 \end{vmatrix}
注意这是个d维的向量。
这里我们用 v_c 表示目标单词的词向量

单词矩阵（word matrix）

单词矩阵是所有单词的词向量的集合。
注意，我们这里要用到两个单词矩阵，一个是目标单词的词向量组成的矩阵，用 W 表示。

W的尺寸是 d\times V 。
另外一个矩阵是由除目标单词外的其他单词的词向量的转置组成的矩阵，用 W' 表示，尺寸是 V\times d ，注意这里与上一个W的尺寸相反，至于为什么我们后面解释。

另外需要说明的是，由于每一个单词都有可能作为目标单词或其他单词，因此，实际上这两个矩阵是分别包含所有单词的词向量的。

单词相似度

我们先考虑这个问题：怎么表示两个单词之间的相似度？

一个简单方法就是：两个单词间的词向量求内积！
这里，我们用 v_c代表目标单词的词向量，u_x代表除目标单词外窗口内第x个单词的词向量。
那么求内积： u_x^Tv_c 就是两个单词的相似度。

因为两个单词的内积越大，说明两个单词的相似程度越高。

softmax函数

我们需要知道的是softmax函数就是能够把输入转换为概率分布，也就是说使输入的实数变成分数。除此之外的内容我们暂不讨论。

softmax函数的公式如下：

img
这里面的z就是我们的相似度 u_x^Tv_c

我的理解是：
word2vec =
    skip-gram algorithm +
    multi-view algorithm

w_c 表示目标单词的one-hot向量。
v_c 表示目标单词的词向量
u_x 表示除目标单词外第x个单词的词向量
W 表示目标单词矩阵
W' 表示其他单词矩阵
词向量的维度是d
词汇表的维度是V
4. 理解算法过程

求相似度 u_x^Tv_c 总共分几步？
第一步：求 v_c

v_c=Ww_c ,这里W是 d\times V 的矩阵， w_c 是 V \times 1 的矩阵，因此 v_c 是 d \times 1 的向量。

直观理解：矩阵与one-hot向量的内积，相当于把one-hot向量中索引为1在向量矩阵中对应的那一列提取出来。

第二步：求 u_x^Tv_c 组成的向量
这个向量就是W'v_c ，这里的 W' 是 V \times d 的矩阵， v_c 是 d \times1 的向量。因此 u_x^Tv_c是 V\times 1 的向量。
直观理解：下面要说的很重要！用 W' 与 v_c 相乘，相当于 v_c 和词汇表中的所有词向量的转置都分别求内积，得到的结果组成了一个向量！

img
第三步：求softmax

这步比较简单，把得到的相似度矩阵代入softmax公式，就得到了一个满足概率分布的矩阵。//结束

至此，我们的目标已经实现：得到了一个向量。

向量中的数值代表在给定单词的条件下，其他单词出现的概率！

我的理解：
虽然我不知道为什么相似度就变成了单词一起出现的概率，但是这个方法应该可以很好的表示在给定目标对象的条件下，其他对象与之相似的概率。
metapath2vec

基于meta-path的异质网络Embedding-metapath2vec

metapath2vec https://dl.acm.org/citation.cfm?id=3098036是17年发表的，使用基于meta-path的随机游走重构节点的异质邻居，并用异质的skip-gram模型求解节点的网络表示。

我的理解是：
metapath2vec =
    random walking guided by metapath +
    skip-gram algorithm +
    multi-view algorithm
metagraph2vec
我的理解是：
metagraph2vec =
    random walking guided by metagraph +
    skip-gram algorithm +
    multi-view algorithm
Random walking
随机游走，旨在生成一些序列
deepwalk

论文阅读：DeepWalk

deepwalk = randoming walking + constrains
leehaming
关注
专栏目录
Flutter之This app is using a deprecated version of the Android embedding.
菜鸟博客
04-13 1181
This app is using a deprecated version of the Android embedding. To avoid unexpected runtime failures, or future build failures, try to migrate this app to the V2 embedding. Take a look at the docs for migrating an app: https://github.com/flutter/flutter/w
【论文笔记】Structural Deep Network Embedding
煎饼加鸡丝
10-30 4868
Structural Deep Network Embedding https://www.kdd.org/kdd2016/papers/files/rfp0191-wangAemb.pdf 本文介绍图嵌入的一种方法——SDNE，用深度神经网络来做图嵌入，以下主要摘录论文以及记录一点个人理解。 摘要 network embedding，是为网络中的节点学习出一个低维表示的方法。 目的在于在低...
图神经网络学习笔记:Metapath2vec
qq_37418807的博客
01-26 4037
1.图的构建 import numpy as np import random import time import tqdm import dgl import sys import os num_walks_per_node = 1000 walk_length = 100 path = './net_dbis' def construct_graph(): paper_ids = [] paper_names = [] author_ids = [] author_na
图学习——06.metapath2vec
m0_51474171的博客
10-19 1247
给定如下图的一个语料，假设窗口大小为5（给定节点左右两个节点出现的概率），当给定节点The的时候，计算quick和brown出现的概率，同样，在给定quick的时候，计算The，brown和fox出现的概率，以此类推。首先，第三个表示，vti和vi+1不相邻，那游走的概率就是0，第二个表示，两个节点相邻，但是vi+1不是元路径所规定的节点类别，那游走概率也是零，第一个就是。比如给定下图元路径MIT，a1，p1，那么给定节点a1，就可以计算节点MIT出现的概率和p1出现的概率并使其最大化。
实践篇 | 推荐系统之矩阵分解模型
腾讯技术工程
06-07 2727
导语：本系列文章一共有三篇，分别是《科普篇 |推荐系统之矩阵分解模型》《原理篇 |推荐系统之矩阵分解模型》《实践篇 |推荐系统之矩阵分解模型》第一篇用一个具体的例子...
【论文解读 | IJCAI2020】NSHE - Network Schema Preserving Heterogeneous Information Network Embedding
qq_36291847的博客
05-13 1541
文章目录摘要1 引言2 相关工作3 我们的方法3.1 保留成对邻近性3.2 保留网络架构邻近性网络架构实例抽样网络模式实例采样多任务学习保留模式 摘要 随着异构网络的日益普及，异构信息网络(HIN)嵌入技术在保持异构结构的同时将节点投射到低维空间中，近年来受到越来越多的关注。现有的许多HIN嵌入方法采用元路径引导的随机游走，以保持不同类型节点之间的语义和结构相关性。然而，元路径的选择仍然是一个有待解决的问题，它要么依赖于领域知识，要么依赖于标签信息。作为HIN的统一蓝图，网络模式包含了全面的高阶结构和丰富的
论文笔记——NSHE:Network Schema Preserving Heterogeneous Information Network Embedding（网络模式保留的异质信息网络嵌入）
weixin_43580130的博客
05-05 1996
论文题目：Network Schema Preserving Heterogeneous Information Network Embedding 许多现有的HIN嵌入方法采用元路径引导的随机游走来保持不同类型节点之间的语义和结构相关性(得到embedding)。然而，元路径的选择仍然是一个开放的问题，它要么依赖于领域知识，要么从标签信息中学习。 在NSHE中，首先提出一种网络模式采样方法来生成子图(即模式实例)（图c和d中显示了一个例子，从中我们可以看到模式实例描述了这四个节点的高阶结构信息，以及两个节
社团发现的几篇具体论文+论文翻译.rar
04-20
1、Deep Attributed Network Embedding 2、vGraph: A Generative Model for Joint Community Detection and Node Representation Learning 3、A Unified Framework for Community Detection and Network ...
metapath2vec
05-12
具有张量流的metapath2vec 此仓库包含使用tensorflow的metapath2vec的实现。 我尚未在大型网络上进行过测试，因此在使用时要小心...。 主要参考资料出现在KDD 2017： 另外，我注意到该论文的第一作者公开了实现。 我想这样更有效。 因此，请先尝试使用该功能。 此仓库适用于出于某些原因想要使用/研究张量流的人们。 要求 我建议您先安装 ，然后再安装tensorflow。 和其他一些库... 如何使用。 有关信息，请参见帮助。 它应该是独立的。 python main.py --help 您需要提供两个文件：具有节点类型信息的文本文件，以及具有由元路径引导的随机游走生成的路径的文本文件。 查看data/test_data以查找样本txt。 如何训练。 使用随机游动学习嵌入 python main.py --walks ./data/test_d
Metapath2vec 的python简单实现
xiadada2的博客
05-26 2965
这里我们使用三张图结构 分别是paper-coauhor-paper,paper-cotitle-paper,paper-covenue-paper，也就是结点类型一种，边类型三种，我们的metapath类型为coauthor-cotitle-coauthor-cotitle. def positive_sampler(path): pos_u,pos_v=[],[] for i in range(len(path)): if len(path)==1: .
学习metapath2vec
qq_35674954的博客
07-25 3016
对于论文metapath2vec: Scalable Representation Learning for Heterogeneous Networks 在自己的理解和另一位博主的介绍下https://blog.csdn.net/hy_jz/article/details/78877483 感觉要弄懂首先要弄明白几个基本模型，术语，方法等，如下： 1.skip-gram(word2evc)...
资源 | OpenHINE：异质信息网络嵌入开源工具包
weixin_45519842的博客
07-08 816
为了方便大家对异质信息网络表示学习（HINE）开展相关的实验或研究，北京邮电大学 DMGroup 的研究人员在 GitHub 上发布了 HINE 训练和测试框架 OpenHINE。项目链...
Graph Embedding（SDNE，Graph2vec，GraphGAN）
nakaizura
01-08 8188
SDNE 前一篇整理了3种常用的图嵌入方法，DeepWalk，LINE和Node2vec。Structural Deep Network Embeddings（结构深层网络嵌入，SDNE）的不同之处在于，它并不是基于随机游走的思想，在实践中比较稳定。 主要思路如上图，会将节点向量 si 作为模型的输入，通过自编码器对这个向量进行降维压缩 zi，然后再重建特征。其损失函数定义为： O2=∑∣∣si...
推荐系统初学者系列（8）-- Graph Embedding（网络嵌入表示）做Top-K推荐
私人天地
06-29 1万+
上一篇：Surprise库做Top-K推荐
2020 IJCAI 接受论文 list 分类排列（一）
热门推荐
u014546828的博客
08-23 2万+
2020 IJCAI 接受论文 list （一） 2020 IJCAI 接受论文 list （二） 2020 IJCAI 接受论文 list （三） A Deep Reinforcement Learning Approach to Concurrent Bilateral NegotiationPallavi Bagga, Nicola Paoletti, Bedour Alrayes, Kostas Stathis A Multi-Objective Approach to Mitigat.
异质网络表示--Structural Deep Embedding for Hyper-Networks
hy_jz的博客
01-10 3123
[Structural Deep Embedding for Hyper-Networks](https://arxiv.org/abs/1711.10146) 是在hyperedge(超边是不可分解的)的基础上保留object的一阶和二阶相似性，学习异质网络表示。于与HEBE的区别在于，本文考虑了网络high-oeder网络结构和高度稀疏性。传统的基于clique expansion 和star
网络表征学习（Network Embedding）1.网络的分类
weixin_45385568的博客
04-05 2117
不同的表征学习方法面向不同的网络，所以我们对网络进行分类。
def flops(self): flops = 0 flops += self.patch_embed.flops() for i, layer in enumerate(self.layers): flops += layer.flops() # flops += self.num_features * self.patches_resolution[0] * self.patches_resolution[1] // (2 ** self.num_layers) # flops += self.num_features * self.num_classes return flops
最新发布
05-13
这是一个类中的方法，用于计算模型的 FLOPs（floating-point operations，即浮点运算量），可以用于评估模型的计算复杂度。具体实现中，首先计算输入图像的 Patch Embedding 的 FLOPs，然后循环遍历所有的 Transformer 层，计算每一层的 FLOPs 并累加到总的 FLOPs 中。最后，还可以选择性地加上最后一层全连接层的计算 FLOPs。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值