Inferring network connectivity from event timing patterns
这篇文章提出了一个从 spike neural network 的 spike 序列来 reconstruct 网络连接的方法。
考虑一个含有
N
N
N各节点的网络,
i
i
i节点的第
m
m
m个 spike 发生在
t
i
,
m
t_{i,m}
ti,m,定义 inter-spike interval (ISI)为
Δ
T
i
,
m
=
t
i
,
m
−
t
i
,
m
−
1
\Delta T_{i,m}=t_{i,m}-t_{i,m-1}
ΔTi,m=ti,m−ti,m−1
定义 cross-spike intervals (CSIs)为
w
j
,
k
,
m
i
=
t
j
,
p
−
t
i
,
m
−
1
w^i_{j,k,m}=t_{j,p}-t_{i,m-1}
wj,k,mi=tj,p−ti,m−1
表示在
i
i
i节点的第
m
m
m个 spike 间隔内
j
j
j节点发生的第
k
k
k次 sipke 距离间隔起始时间的间隔。现在假设给定的序列内
k
k
k的最大值为
K
i
K_i
Ki,核心的想法是 ISI 和 CSI 满足
Δ
T
i
,
m
=
h
i
(
Λ
i
W
m
i
)
\Delta T_{i,m}=h_i(\Lambda^iW^i_m)
ΔTi,m=hi(ΛiWmi)
其中
Λ
i
\Lambda^i
Λi类似于链接矩阵,不过有所不同,它是一个
N
×
N
N\times N
N×N的对角矩阵,若
j
j
j对
i
i
i有作用,对角元素
Λ
j
j
i
=
1
\Lambda^i_{jj}=1
Λjji=1,否则为0。
W
m
i
=
[
w
j
,
k
,
m
i
]
W^i_m=[w^i_{j,k,m}]
Wmi=[wj,k,mi]是个
N
×
K
i
N\times K_i
N×Ki的矩阵,其中第
k
k
k列为
w
k
,
m
i
=
[
w
1
,
k
,
m
i
,
w
2
,
k
,
m
i
,
…
,
w
N
,
k
,
m
i
]
T
w^i_{k,m}=[w^i_{1,k,m},w^i_{2,k,m},…,w^i_{N,k,m}]^T
wk,mi=[w1,k,mi,w2,k,mi,…,wN,k,mi]T
定义空间向量
e
i
,
m
=
[
v
e
c
(
W
m
i
)
,
Δ
T
i
,
m
]
T
e_{i,m}=[vec(W^i_m),\Delta T_{i,m}]^T
ei,m=[vec(Wmi),ΔTi,m]T,取空间向量取空间向量的中心点
e
i
,
r
e_{i,r}
ei,r作为线性化的中心,近似可得
Δ
T
i
,
m
=
Δ
T
i
,
r
+
t
r
(
(
∂
h
i
∂
W
i
Λ
i
[
W
m
i
−
W
m
i
]
)
\Delta T_{i,m}=\Delta T_{i,r}+tr((\frac{\partial h_i}{\partial W^i}\Lambda^i[W^i_m-W^i_m])
ΔTi,m=ΔTi,r+tr((∂Wi∂hiΛi[Wmi−Wmi])
也就是说
Δ
T
i
,
m
=
Δ
T
i
,
r
+
∑
k
=
1
K
i
∇
h
i
,
k
Λ
i
(
w
k
,
m
i
−
w
k
,
r
i
)
\Delta T_{i,m}=\Delta T_{i,r}+\sum_{k=1}^{K_i}\nabla h_{i,k}\Lambda^i(w^i_{k,m}-w^i_{k,r})
ΔTi,m=ΔTi,r+k=1∑Ki∇hi,kΛi(wk,mi−wk,ri)
其中
∇
h
i
,
k
=
[
∂
h
i
∂
W
1
k
i
,
∂
h
i
∂
W
2
k
i
,
…
,
∂
h
i
∂
W
N
k
i
]
\nabla h_{i,k}=[\frac{\partial h_i}{\partial W_{1k}^i},\frac{\partial h_i}{\partial W_{2k}^i},…,\frac{\partial h_i}{\partial W_{Nk}^i}]
∇hi,k=[∂W1ki∂hi,∂W2ki∂hi,…,∂WNki∂hi],用线性回归求解系数
∇
h
i
,
k
\nabla h_{i,k}
∇hi,k。将
∂
h
i
∂
W
j
1
i
\frac{\partial h_i}{\partial W_{j1}^i}
∂Wj1i∂hi的大小作为判断连接的依据。
下面是一些仿真结果
由于是线性化,所以选取空间向量中心附近的点做回归效果较好,无论是 spike 序列较为规律还是不规则的,而随机选择效果在不规则的 spike 上较差。
ESL 表示本文的重构方法,M表示数据量,图 a 展示用不同方法重构一个100个节点的 LIF neurons 神经网络的效果,图 b 展示用不同方法重构一个100个节点的 HH neurons 神经网络的效果,图 c 展示重构一个100个节点的 LIF neurons 神经网络但是只有 80 个节点可以观测的效果,图 b 展示在可观测节点不同比例下的重构效果。
不但可以重构出是否有链接,还可以确定是兴奋性连接还是抑制性连接
读后感:
把线性化用在了 snn 网络的重构,让我深刻地感到方向比努力更重要。
感觉
w
j
,
k
,
m
i
w^i_{j,k,m}
wj,k,mi如果算跟后一个 spike 的时间间隔,效果会更好,然后考虑最后一个 spike 对系统的影响。(原文中是算跟前一个的时间间隔,算时间间隔内第一个 spike 的影响,感觉如果倒着数并且对齐,可能会更好)