信号系统的卷积
时域卷积:
y
(
t
)
=
x
(
t
)
∗
h
(
t
)
y(t) = x(t) * h(t)
y(t)=x(t)∗h(t)
转化到频域:
Y
(
ω
)
=
X
(
ω
)
H
(
ω
)
Y(\omega) = X(\omega)H(\omega)
Y(ω)=X(ω)H(ω)
频率响应函数:
H
(
ω
)
=
Y
(
ω
)
X
(
ω
)
H(\omega) = \frac{Y(\omega)}{X(\omega)}
H(ω)=X(ω)Y(ω)
其中
ω
\omega
ω为频率,因此
H
(
ω
)
H(\omega)
H(ω)中
ω
\omega
ω的范围就确定了能够通过该频率响应函数的信号。比如,当
ω
∈
[
−
1
,
1
]
\omega\in[-1,1]
ω∈[−1,1],
H
(
ω
)
H(\omega)
H(ω)如下图时:
该频率响应函数就仅能通过频率在[-1,1]的信号。
图卷积
在说图卷积之前,我们要了解这些。详情请见图卷积神经网络理论基础
laplace矩阵:
L
=
D
−
A
L = D - A
L=D−A
L = U Λ U T L = U \Lambda U^T L=UΛUT
Λ \Lambda Λ是L的特征值矩阵,即
Λ = [ λ 1 ⋱ λ n ] \Lambda = \begin{bmatrix} \lambda_1 & & \\ & \ddots & \\ & & \lambda_n \end{bmatrix} Λ=⎣⎡λ1⋱λn⎦⎤
卷积公式:
( f ∗ g ) G = U g θ U T f = U g θ ( Λ ) U T f = U [ g ^ ( λ 1 ) ⋱ g ^ ( λ n ) ] U T f (f*g)_G = Ug_\theta U^Tf = Ug_\theta(\Lambda)U^Tf = U \begin{bmatrix} \widehat{g}(\lambda_1) & & \\ & \ddots & \\ & & \widehat{g}(\lambda_n) \end{bmatrix} U^Tf (f∗g)G=UgθUTf=Ugθ(Λ)UTf=U⎣⎡g (λ1)⋱g (λn)⎦⎤UTf
因为在图卷积中特征值相当于频率,因此频率响应函数 g θ g_\theta gθ能通过的频率取决于 L L L的特征值范围。又 L L L的 λ ∈ [ 0 , 2 ] \lambda \in[0,2] λ∈[0,2](证明见图的拉普拉斯矩阵的特征值范围的一个估计或者谱图论(这本书没找到电子版))。
ChebNet
ChebNet引入了切比雪夫多项式对
g
θ
g_\theta
gθ进行拟合。
g
θ
(
Λ
)
≈
=
∑
k
=
0
K
θ
′
k
T
k
(
Λ
~
)
g_\theta(\Lambda) \approx = \sum_{k=0}^K \theta\prime_k T_k(\tilde{\Lambda})
gθ(Λ)≈=k=0∑Kθ′kTk(Λ~)
其中 Λ ~ = 2 Λ λ m a x − I \tilde{\Lambda} = 2 \frac{\Lambda}{\lambda_{max}} -I Λ~=2λmaxΛ−I, λ m a x ≈ 2 \lambda_{max} \approx 2 λmax≈2,通过这个操作,来缩放特征值。
GCN
在GCN中取
λ
m
a
x
=
2
\lambda_{max} = 2
λmax=2,
K
=
1
K = 1
K=1,得
Λ
~
=
Λ
−
I
\tilde{\Lambda} = \Lambda -I
Λ~=Λ−I,特征值大小缩放到
[
−
1
,
1
]
[-1, 1]
[−1,1]。
因此,频率响应函数
g
θ
g_\theta
gθ只能通过
λ
∈
[
−
1
,
1
]
\lambda \in[-1,1]
λ∈[−1,1]的信号,所以GCN是一个低通滤波器。