一、基础
- 什么是随机过程
- 什么是马尔可夫链
- 什么是随机游走
- 什么是图上的随机游走，与随机游走的区别
什么是随机过程
- 对比：确定过程研究某个量随时间的变化；随机过程研究某个量随时间的可能变化，每个时刻变化的方向（取值）不确定。
- 定义：由一系列随机变量组成。每一个时刻系统的状态都由一个随机变量表示，而整个过程则构成态空间的一个轨迹（随机过程的实现）。一个随机过程最终实现，会得到一组随时间变化的数值（状态态空间里的轨迹），实践中我们都是从数据结果中推测一个随机过程的性质的。
- 意义：概率是建立在可重复性上，是一个理想模型，而建立在此上的随机过程就更是一个理想化的模型，它暗含的是历史可无限重复，然后你把他们收集在一起。
- 复杂性：这是一个高维问题，因为一个随机过程具有无限多可能性。试想象一个最简单的随机过程，这个过程由N步组成，每一步都有两个选择（0，1），那么可能的路径就有2的N次方个，这个随机过程就要由2^N-1个概率来描述(-1是因为已知概率和为1)。
什么是马尔可夫过程
未来所处的状态仅与其当前状态有关，而与过去的状态无关的随机过程。因为当前状态本来就包含了过去状态信息。
什么是马尔可夫链 Markov Chain
是一种满足马尔可夫性的数学模型。用条件概率体现马尔可夫性。n为时间。
P
r
(
X
n
+
1
=
x
n
+
1
∣
X
1
=
x
1
,
.
.
.
,
X
n
=
x
n
)
=
P
r
(
X
n
+
1
=
x
n
+
1
∣
X
n
=
x
n
)
Pr(X_{n+1}=x_{n+1} | X_1=x_1, ..., X_n=x_n)=Pr(X_{n+1}=x_{n+1} | X_n=x_n)
Pr(Xn+1=xn+1∣X1=x1,...,Xn=xn)=Pr(Xn+1=xn+1∣Xn=xn)
什么是平稳分布/稳态 Stationary
每一步和前一步关系与时间无关。
P
r
(
X
n
+
1
=
x
n
+
1
∣
X
n
=
x
n
)
=
P
r
(
X
n
=
x
n
∣
X
n
−
1
=
x
n
−
1
)
Pr(X_{n+1}=x_{n+1} | X_n=x_n)=Pr(X_n=x_n | X_{n-1}=x_{n-1})
Pr(Xn+1=xn+1∣Xn=xn)=Pr(Xn=xn∣Xn−1=xn−1)
细致平衡条件 Detailed Balance
π
i
p
i
j
=
π
j
p
j
i
\pi_ip_{ij}=\pi_jp_{ji}
πipij=πjpji
∑
(
π
i
p
i
j
)
=
π
j
\sum(\pi_ip_{ij})=\pi_j
∑(πipij)=πj
对于可逆Markov chian，状态分布
π
\pi
π为平稳分布，
π
=
π
P
\pi=\pi P
π=πP ，P为转移矩阵
什么是随机游走 Random Walk
{ X n } \{X_n\} {Xn} i.i.d.（独立同分布）， S 0 = 0 , S n = ∑ i = 1 n ( X i ) , n > 0 , { S n , n > = 0 } S_0=0, S_n=\sum\limits_{i=1}^n(X_i), n>0,\{S_n, n>=0\} S0=0,Sn=i=1∑n(Xi),n>0,{Sn,n>=0}称为随机游走过程.
简单随机游走（1维）
考虑整数轴上的随机游走：整数轴Z，起始点0，往左+1，往右-1，每次移动等概率。
-
每次状态记为 Z j Z_j Zj，取值{-1, 1}，取值概率各为0.5。 S 0 = 0 ， S n = ∑ ( Z j ) S_0=0，S_n=\sum(Z_j) S0=0，Sn=∑(Zj)，序列 { S n } \{S_n\} {Sn}称为整数轴上的random walk
-
和Markov chain联系：状态i看作当前所在的整数， P i , i + 1 = 1 − P i , i − 1 P_{i,i+1}=1-P_{i,i-1} Pi,i+1=1−Pi,i−1
-
推广到图上，一般是Markov的形式。
| t0 | t1 | t2 | t3 | 随机变量~分布 |
|---|---|---|---|---|
| Z0=0 | Z1=+1 | Z2=+1 | Z3=-1 | 动作Zi~(离散型均匀分布，取值{-1,1}，概率均为1/2) |
| S0=0 | S1=1 | S2=2 | S3=1 | 位置结果Si，序列{Si}为random walk |
| X0=0 | X1=1 | X2=2 | X3=1 | 状态Xi~(离散型均匀分布，取值为上一时刻的邻域，概率均为 1 / d ( X i − 1 ) 1/d(X_{i-1}) 1/d(Xi−1)，整数轴上图的度d=2) |
二、图上的随机游走 RW on Graph
在图上：有限的Markov chain
在有向图上：带边权的Markov chain
在无向图上：time-reversible的Markov chain
在对称无向图上：对称Markov chain
1. Basic notions and facts (Markov Chain)
G = ( V , E ) G=(V,E) G=(V,E)为connected的，m条边，n个节点； v t v_t vt为t时刻随机游走到的节点，序列 { v t , t = 0 , 1 , . . . } \{v_t,t=0,1,...\} {vt,t=0,1,...}为马尔可夫链
- 转移概率矩阵 M
M = ( p i j ) M=(p_{ij}) M=(pij)
i 到 j 的 转 移 概 率 p i j = { 1 / d ( i ) , 若 i j 属 于 E 0 , e l s e i到j的转移概率p_{ij}=\left\{ \begin{aligned} 1/d(i) &,& 若ij属于E\\ 0 &,& else \end{aligned} \right. i到j的转移概率pij={1/d(i)0,,若ij属于Eelse - 对角矩阵 D
( D ) i i = 1 / d ( i ) (D)_{ii}=1/d(i) (D)ii=1/d(i)， G为d-regular时，d为常数， ( D ) i i = 1 / d (D)_{ii}=1/d (D)ii=1/d - 邻接矩阵 A
三者关系是 M = D A G M=DA_G M=DAG - 状态矩阵 P（概率分布/Markov模型 ）
P t + 1 = M T P t P_{t+1}=M^TP_t Pt+1=MTPt， P t = ( M T ) t P 0 P_{t}=(M^T)^tP_0 Pt=(MT)tP0，t时刻分布和转移概率决定下一时刻分布
其中 P t ( i ) = P r o b ( v t = i ) P_t(i)=Prob(v_t=i) Pt(i)=Prob(vt=i)，是t时刻在点i的概率
( M t ) i j = p i j t (M^t)_{ij}=p_{ij}^t (Mt)ij=pijt，幂次相乘后矩阵的元素为经过t步从i->j的概率 - 平稳分布(stationary distribution)
π
\pi
π
P 1 = P 0 P_1=P_0 P1=P0，即 P t = P 0 ， t ≥ 0 P_t=P_0，t\ge 0 Pt=P0，t≥0，则 P 0 P_0 P0是stationary的
π ( v ) = d ( v ) / ( 2 m ) \pi(v)=d(v)/(2m) π(v)=d(v)/(2m)，对每个v，d(v)固定，不随时间变化；当G为regular，即d(v)=d时， π \pi π为均匀分布。证明 π 为 平 稳 分 布 \pi为平稳分布 π为平稳分布
- 平稳分布是唯一的
- 平稳分布的存在性：well-behaved graph 总是存在
- G非二分图(non-bipartite)，则 t → ∞ t\to\infty t→∞， v t v_t vt的分布收敛于平稳分布 - 时间可逆(time-reversibility)
π ( i ) p i j = π ( j ) p j i \pi(i)p_{ij}=\pi(j)p_{ji} π(i)pij=π(j)pji， π ( i ) p i j = d ( i ) / ( 2 m ) ∗ 1 / d ( i ) = 1 / ( 2 m ) \pi(i)p_{ij}=d(i)/(2m)*1/d(i)=1/(2m) π(i)pij=d(i)/(2m)∗1/d(i)=1/(2m)，即沿着任意一条边转移的频率相等
从边随机游走回到该边的步数期望值为2m，从节点i随机游走回到i的步数期望值是 1 / π ( i ) = 2 m / d ( i ) 1/\pi(i)=2m/d(i) 1/π(i)=2m/d(i)，若G是regular的，return time则为n，即节点个数。 - well-behaved graph
- 不可约(irreducible)/strongly connected：每一个状态都可来自任意其它状态。图上任意两点可达。
- 非周期(aperiodic)：周期性是存在至少一个状态经过一个固定的时间段后连续返回；非周期的图所有的cycle边数的最大公约数为1
- 不可约、非周期的Markov chain最大特征值为1且为单(重数为1)，其他特征值绝对值均小于1
- 故存在唯一平稳分布： π = 1 π = M T π \pi=1\pi=M^T\pi π=1π=MTπ - Markov chain 的特征值
M M M为Markov chain，证明 M t M^t Mt为Markov chain， ( M T ) t x = λ t x (M^T)^tx=\lambda^t x (MT)tx=λtx，有限，因为 M i j ≤ 1 M_{ij}\le1 Mij≤1(概率)，若存在 ∣ λ ∣ > 1 |\lambda|>1 ∣λ∣>1则其趋于无穷，矛盾。证明见：线代随笔10-马尔科夫矩阵的性质与估计
2. Main parameters
-
access time or hitting time
H ( i , j ) H(i, j) H(i,j) 从i到j步数期望值，不是对称的
H ( i , j ) = ∑ t > 0 t p i j t H(i,j)=\sum\limits_{t>0} tp_{ij}^t H(i,j)=t>0∑tpijt -
commute time
κ ( i , j ) = H ( i , j ) + H ( j , i ) \kappa(i, j)=H(i,j)+H(j,i) κ(i,j)=H(i,j)+H(j,i)，从i经j回到i的步数期望值，是对称的 -
cover time
遍历所用步数期望值 -
mixing rate
μ = lim t → ∞ sup max ∣ p i j ( t ) − d j / ( 2 m ) ∣ 1 / t \mu=\lim\limits_{t\to\infty}\sup\max|p_{ij}^{(t)}- d_j/(2m)|^{1/t} μ=t→∞limsupmax∣pij(t)−dj/(2m)∣1/t，当G为非二分图， p i j ( t ) → d j / ( 2 m ) , t → ∞ p_{ij}^{(t)}\to d_j/(2m),t\to\infty pij(t)→dj/(2m),t→∞。衡量序列从初始分布经过随机游走(乘转移矩阵)到平稳分布的收敛速度。注意区分 p i j t , p i j ( t ) p_{ij}^t,p_{ij}^{(t)} pijt,pij(t)
- mixing time
Symmetry and access time
【以下未完】
3. The eigenvalue connection
G不regular，M非对称，如何转化？
由
M
=
D
A
M=DA
M=DA 得对称矩阵
N
=
D
1
/
2
A
D
1
/
2
=
D
−
1
/
2
M
D
1
/
2
N=D^{1/2}AD^{1/2}=D^{-1/2}MD^{1/2}
N=D1/2AD1/2=D−1/2MD1/2，特征值同M
特征分解得
N
=
∑
k
=
1
n
λ
k
v
k
v
k
T
N=\sum\limits_{k=1}^n\lambda_kv_kv_k^T
N=k=1∑nλkvkvkT，
v
k
v_k
vk为单位长度特征向量，注意区分
v
k
,
v
t
v_k,v_t
vk,vt
以证明随机游走收敛性【截图】
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
