系列文章
《Graph Representation Learning》笔记 Chapter2
《Graph Representation Learning》笔记 Chapter3
《Graph Representation Learning》笔记 Chapter4
《Graph Representation Learning》笔记 Chapter5
《Graph Representation Learning》笔记 Chapter6
传统方法概述
我们可以将生成过程指定为计算 P ( A [ u , v ] = 1 ) P(A[u, v] = 1) P(A[u,v]=1) 的可能性,即两节点 u u u 和 v v v 是否存在边缘的概率。
Erdos-Renyi(ER) 模型
该模型定义两节点出现边缘的可能性为
P
(
A
[
u
,
v
]
=
1
)
=
r
,
∀
u
,
v
∈
V
,
u
≠
v
P(A[u, v] = 1) = r, \forall u, v ∈ \mathcal{V}, u ≠ v
P(A[u,v]=1)=r,∀u,v∈V,u=v
其中,
r
∈
[
0
,
1
]
r ∈ [0, 1]
r∈[0,1] 为控制图密度的参数。因为所有边缘的概率是独立的,所以时间复杂度为
O
(
∣
V
∣
2
)
O(|\mathcal{V}|^2)
O(∣V∣2)
随机块模型( stochastic block models, SBMs )
SBM 指定了
γ
\gamma
γ 个不同的块
C
1
,
.
.
.
,
C
γ
\mathcal{C}_1, ..., \mathcal{C}_{\gamma}
C1,...,Cγ ,每个节点
u
∈
V
u ∈ \mathcal{V}
u∈V 属于块
i
i
i 的概率记为
p
i
=
P
(
u
∈
C
i
)
,
∀
u
∈
V
,
i
=
1
,
.
.
.
,
γ
p_i = P(u ∈ \mathcal{C}_i), \forall u ∈ \mathcal{V}, i = 1 , ..., \gamma
pi=P(u∈Ci),∀u∈V,i=1,...,γ ,
∑
i
=
1
γ
p
i
=
1
\sum_{i=1}^{\gamma} p_i = 1
∑i=1γpi=1 。
SBM 的生成步骤如下所示
- 对于所有节点 u ∈ V u ∈ \mathcal{V} u∈V ,依据 p i p_i pi 将其分配至 C i \mathcal{C}_i Ci 中
- 对于所有的节点对 u ∈ C i u ∈ C_i u∈Ci 并且 v ∈ C j v ∈ \mathcal{C}_j v∈Cj ,根据如下公式对边缘进行采样
P
(
A
[
u
,
v
]
=
1
)
=
C
[
i
,
j
]
P(A[u, v] = 1) = C[i, j]
P(A[u,v]=1)=C[i,j]
C
[
i
,
j
]
C[i, j]
C[i,j] 表示连接
C
i
\mathcal{C}_i
Ci 和
C
j
\mathcal{C}_j
Cj 的边缘出现的概率,
C
[
i
,
i
]
=
α
,
i
=
1
,
.
.
.
,
γ
C[i, i] = \alpha, i=1, ..., \gamma
C[i,i]=α,i=1,...,γ ,
C
[
i
,
j
]
=
β
,
i
,
j
=
1
,
.
.
.
,
γ
,
i
≠
j
C[i, j] = β, i, j = 1, ..., \gamma, i ≠ j
C[i,j]=β,i,j=1,...,γ,i=j ,其中
β
<
α
β < \alpha
β<α 。
优先连接( preferential attachment, PA ) 模型
PA 模型假设许多真实图存在幂率度分布,即节点度为
d
u
d_u
du 的概率遵循下面的式子
P
(
d
u
=
k
)
∝
k
−
α
P(d_u = k) \propto k^{-\alpha}
P(du=k)∝k−α
其中,
α
>
1
\alpha > 1
α>1 为常数。 上述分布为长尾分布,说明真实图中的很多节点有着很小的度,很少节点有着很大的度。
PA 模型的步骤如下所示
- 初始化生成由 m 0 m_0 m0 个节点组成的全连接矩阵
- 迭代的添加
n
−
m
0
n - m_0
n−m0 个节点进入图中。对于每一个在第
t
t
t 轮新加入的节点
u
u
u ,将它与
m
<
m
0
m < m_0
m<m0 个存在节点相连接,
m
m
m 个邻居节点依据下面的式子选择
P ( A [ u , v ] ) = d v ( t ) ∑ v ′ ∈ V ( t ) d v ′ ( t ) P(A[u, v]) = \frac{d_v^{(t)}}{\sum_{v' ∈ \mathcal{V}^{(t)}}d_{v'}^{(t)}} P(A[u,v])=∑v′∈V(t)dv′(t)dv(t)
其中 d v ( t ) d_v^{(t)} dv(t) 代表第 t t t 轮节点 v v v 的度, V ( t ) \mathcal{V}^{(t)} V(t) 代表第 t t t 轮图中存在的节点集。
直观来讲,高度的节点会趋向与聚集更多的节点。