概率与统计之七

$\text{概率与统计之七}$
文章为一些读书笔记，原书为机械工业出版社的《概率论导论》Joseph K.Blizstein和Jessica Hwang著，案例讲解和讲述证明是本书的一大特点，教给人们的不只是一些概率论的概念和公式，而是思考问题的思维方式和策略。不过就是书里的错印有点多，需要边看边改。
_(:з」∠)

一.马尔科夫链

1. 马尔科夫性与转移矩阵

• $$\begin{gathered} \text{引入目的}:证明大数定律可以应用于不独立的随机变量中。 \\ 面对一组同分布的样本序列X_1,X_2,\cdots X_n，需要对现实世界的现象建模时，会出现两种极端假设 \\ \{\begin{array}{ll}& 样本之间全部独立，过于严苛，相互不提供信息\\ & 样本之间完全相关，过于松散，信息过于混乱\end{array}\stackrel{综上所述}{\Rightarrow }需要一个介于两者之间的假设， \\ 于是提出具有一阶相关性的随机变量序列，马尔科夫链 \end{gathered}$$

• $\text{状态空间}:链中随机变量X_n的所有可能值组成的集合，可以认为是支撑，下标n表示过程随时间的变化而变化$

• 定义 : 对 于 随 机 变 量 序 列 X 1 , X 2 , ⋯   , X n ， 序 列 中 的 每 个 元 素 都 在 集 合 { 1 , 2 , 3 , ⋯   , M } 中 取 值 ， 如 果 对 于 所 有 的 n ≥ 0 都 有 P ( X n + 1 = j ∣ X n = i , X n − 1 = i n − 1 , ⋯   , X 0 = i 0 ) = P ( X n + 1 = j ∣ X n = i ) ， 那 么 称 该 随 机 变 量 序 列 是 马 尔 科 夫 链 ， P ( X n + 1 = j ∣ X n = i ) 为 从 状 态 i 到 状 态 j 的 转 移 概 率 \textcolor{blue}{\textbf{定义}}:对于随机变量序列X_1,X_2,\cdots,X_n，序列中的每个元素都在集合\{1,2,3,\cdots,M\}中取值，如果对于所有的n\geq0\\ 都有P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\cdots,X_0={i_0})=P(X_{n+1}=j|X_n=i)，那么称该随机变量序列是\\ 马尔科夫链，P(X_{n+1}=j|X_n=i)为从状态i到状态j的转移概率 定义:对于随机变量序列X1​,X2​,⋯,Xn​，序列中的每个元素都在集合{1,2,3,⋯,M}中取值，如果对于所有的n≥0都有P(Xn+1​=j∣Xn​=i,Xn−1​=in−1​,⋯,X0​=i0​)=P(Xn+1​=j∣Xn​=i)，那么称该随机变量序列是马尔科夫链，P(Xn+1​=j∣Xn​=i)为从状态i到状态j的转移概率

• $$\begin{gathered} \text{马尔科夫性}: \\ 上述定义中的条件就是马尔科夫性，P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\cdots ,X_0=i_0)=P(X_{n+1}=j|X_n=i) \\ 说明在给定过去所有的信息X_1,X_2,\cdots ,X_n时，只有最近的信息X_n对于预测下一步X_{n+1}的有用，这便是 \\ 马尔科夫性。如果将时间点n看做是现在，n之前的时间点是过去，n之后的时间点是未来，那么马尔科夫性 \\ 说明，在给定现在的节点的条件下，过去的节点和未来的节点条件独立。 \\ 即P(X_{n-1}\cap X_{n+1}|X_n)=P(X_{n-1}|X_n)P(X_{n+1}|X_n)。 \\ 另外关于P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\cdots ,X_0=i_0)=P(X_{n+1}=j|X_n=i)的理解，感觉对于一个状态 \\ 序列中各时间段的状态X_i，只要可以写成这种等式便是具有马尔科夫性。比如一组服从Uinf(0,1)分布的独立 \\ 随机变量序列。P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\cdots ,X_0=i_0)=P(X_{n+1})，P(X_{n+1}=j|X_n=i)=P(X_{n+1})， \\ 所以P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\cdots ,X_0=i_0)=P(X_{n+1}=j|X_n=i)，所以把这一组随机变量作为各节点 \\ 的状态的话，可以构成一条马尔科夫链 \end{gathered}$$

• 转移矩阵 : 令 X 1 , X 2 , ⋯ 是 在 状 态 空 间 { 1 , 2 , ⋯   , M } 上 的 一 个 马 尔 科 夫 链 ， 令 q i j = P ( X n + 1 = j ∣ X n = i ) 作 为 从 状 态 i 转 移 到 状 态 j 的 转 移 概 率 ， 那 么 得 到 的 这 个 M × M 矩 阵 Q = ( q i j ) 则 被 称 为 马 尔 科 夫 链 的 转 移 矩 阵 。 需 要 注 意 的 是 q i j 与 q j i 的 性 质 是 一 致 的 ， 无 外 乎 一 个 是 从 当 前 状 态 i 转 移 下 一 个 节 点 状 态 j 的 转 移 概 率 ， 另 一 个 是 从 当 前 状 态 j 转 移 到 下 一 个 节 点 状 态 i 的 转 移 概 率 ， 都 是 从 当 前 状 态 转 移 到 下 一 个 节 点 状 态 的 转 移 概 率 ， q j i 并 不 是 从 下 一 个 节 点 状 态 j 转 移 到 当 前 节 点 状 态 i 的 转 移 概 率 ， 不 要 搞 混 了 \textcolor{blue}{\textbf{转移矩阵}}:令X_1,X_2,\cdots是在状态空间\{1,2,\cdots,M\}上的一个马尔科夫链，\\令q_{ij}=P(X_{n+1}=j|X_n=i)作为从状态i转移到状态j的转移概率，那么得到的这个M\times M矩阵\\Q=(q_{ij})则被称为马尔科夫链的转移矩阵。需要注意的是q_{ij}与q_{ji}的性质是一致的，无外乎一个是从\\当前状态i转移下一个节点状态j的转移概率，另一个是从当前状态j转移到下一个节点状态i的转移概率，\\都是从当前状态转移到下一个节点状态的转移概率，\textcolor{red}{q_{ji}并不是从下一个节点状态j转移到当前节点状态i\\的转移概率，不要搞混了} 转移矩阵:令X1​,X2​,⋯是在状态空间{1,2,⋯,M}上的一个马尔科夫链，令qij​=P(Xn+1​=j∣Xn​=i)作为从状态i转移到状态j的转移概率，那么得到的这个M×M矩阵Q=(qij​)则被称为马尔科夫链的转移矩阵。需要注意的是qij​与qji​的性质是一致的，无外乎一个是从当前状态i转移下一个节点状态j的转移概率，另一个是从当前状态j转移到下一个节点状态i的转移概率，都是从当前状态转移到下一个节点状态的转移概率，qji​并不是从下一个节点状态j转移到当前节点状态i的转移概率，不要搞混了

• $$\begin{gathered} \text{转移概率的生成}:首先要明确P(X_{n+1}=1|X_n=i)+P(X_{n+1}=2|X_n=i)+\cdots +P(X_{n+1}=M|X_n=i)=1 \\ 即在给定当前节点状态时，下一个节点转移到某个状态与转移到其他状态的事件都不相交， \\ 可以将其看做是一个条件概率分布的归一性。所以将转移概率为零的状态去除，用1去除以剩余的转移状态数 \\ 便是P(X_{n+1}=j|X_n=i)的值，所以也就是说在X_n已定的条件下所有可能的转移概率的值是相等的， \\ 并且其概率值平分了1 \end{gathered}$$

• $$\begin{gathered} \text{转移矩阵的形式}:转移矩阵根据使用行标或者列标表示当前节点状态的不同分为两种，其实就是两个互为转置的矩阵，比如 \\ {Q}^T=\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& \frac{1}{2}& \frac{1}{2}\\ \frac{1}{3}& \frac{2}{3}& 0& 0\\ 0& 0& 1& 0\end{array}\right]行标表示当前状态，列标表示下一节点的状态，q_{i1}+q_{i2}+q_{i3}+q_{i4}=1， \\ Q=\left[\begin{array}{cccc}0& 0& \frac{1}{3}& 0\\ 1& 0& \frac{2}{3}& 0\\ 0& \frac{1}{2}& 0& 1\\ 0& \frac{1}{2}& 0& 0\end{array}\right]列标表示当前状态，行标表示下一节点的状态，q_{1j}+q_{2j}+q_{3j}+q_{4j}=1 \end{gathered}$$

• $$\begin{gathered} n步转移概率和X_n边缘分布: \\ 以Q^T为例，在已知X_0的当前状态为i时，下一个节点X_1的各状态的转移概率为转移矩阵中第i行的行向量中 \\ 对应的元素值，同理在n步之后节点X_n的各状态的转移概率为(Q^T{)}^n中第i行的行向量中对应的元素值。 \\ 如果定义t=\left[\begin{array}{c}{t}_1\\ t_2\\ ⋮\\ t_m\end{array}\right]为马尔科夫链初始状态的概率分布，那么n步之后的状态X_n的边缘分布便为t^T(Q^T{)}^n \\ 或者Q^{n}t， \end{gathered}$$

2. 状态分类

1). 瞬时态和常返态

根据状态在马尔科夫链中长时间运行后会被重复访问还是会被抛弃，马尔科夫链的状态分为常返态和瞬时态。

• 瞬时态: 如果马尔科夫链中存在从状态$i$出发再也无法回到$i$的线路，则$i$为瞬时态
• 常返态:与瞬时态相对，如果对于一个状态$i$，马尔科夫链中不存在使得它无法回到自身状态的线路，那么$i$就是常返态。换句话说从$i$出发总会存在一条线路使得$i$能够返回到自身状态
• 需要注意的:区分瞬时态和常返态的关键并不是看从一个状态$i$出发，有没有可能回到$i$；而是看从$i$出发，有没有可能回不到$i$。如果有就是瞬时态，没有就是常返态
• 经过瞬时态的次数服从几何分布，这很好理解，可以把状态出门转悠一圈看做一次试验。如果状态能够重新回到自身状态，则它就可以再次出发，而如果一旦状态进入了无法返回，试验也就要停止。于是可以把状态再次回到自身看作是一次失败的试验，而状态无法返回看做是成功的试验，很明显失败试验的次数服从几何分布

不可约马尔科夫链

1. $$\begin{gathered} 从可视化的马尔科夫链图来看,不可约的马尔科夫链是从任意一个状态出发按着箭头走总有可能便览所有 \\ 状态(包括自身)的马尔科夫链 \end{gathered}$$
2. $$\begin{gathered} 从转移矩阵来看,设转移矩阵为Q，对于任何状态i和状态j，总存在一个正整数k，使得Q^k中的q_{ij}项是正的。 \\ 注意这里说的q_{ij}项是正的指的是只要在某一Q^k矩阵中的(i,j)位置上的值出现过正数即可，而不是说必须在 \\ 同一时间同一个Q^k矩阵中所有位置上的q值全为正。比如说转移矩阵。 \\ Q=\left[\begin{array}{ccccc}0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 1\\ 1& 0& 0& 0& 0\end{array}\right]，无论k为任何正整数，Q^k中的元素都不可能同时为正数，总会有0值， \\ 不过随着k由1到+\infty 的变化，Q^k中的各位置都出现过1值，所以该矩阵对应的马尔科夫链为不可约的 \end{gathered}$$
3. $$\begin{gathered} 与常返态的关系,在一个有限状态空间中的不可约马尔科夫链中，所有状态都是常返态；但是一个所有状态 \\ 都是常返态的马尔科夫链不一定是不可约的。也就是 \\ \{\begin{array}{llcc}不可约马尔科夫链& \stackrel{链中状态}{\Rightarrow }& 一定皆为常返态& \\ 链中皆为常返态& \stackrel{链的类别}{\Rightarrow }& 不一定是不可约马尔科夫链& 比如两个不相连的周期链\end{array} \end{gathered}$$

可约马尔科夫链

简单来说不可约马尔科夫链以外的所有其它马尔科夫链都是可约的

1. $$\begin{gathered} 从可视化的马尔科夫链图来看,可约的马尔科夫链是从任意一个状态出发，无论怎么按着箭头走总会有至少 \\ 一个状态(包括自身)无法到达 \end{gathered}$$
2. $从转移矩阵来看,设转移矩阵为Q，无论k为任何正整数值，Q^k中至少有一个位置上的值始终为0$
3. $与状态的关系,\{\begin{array}{llc}链中存在瞬时态& \stackrel{链的类别}{\Rightarrow }& 一定为可约马尔科夫链\\ 可约马尔科夫链& \stackrel{链中状态}{\Rightarrow }& 可能为瞬时态，常返态的所有组合\end{array}$

2). 周期性马尔科夫链和非周期性马尔科夫链

• $$\begin{gathered} 周期的定义：状态i的周期是所有可能的从状态i返回到状态i所需要步数的最大公约数，也就是说状态i的周期是 \\ 使得Q^n的(i,i)项为正的，n的最大公约数 \end{gathered}$$

• $非周期性与周期性状态：如果一个状态的周期为1则称其为非周期性的，否则则称其为周期性的$

• $$\begin{gathered} 周期性的理解：想象一个由五个珠子依次首尾相连串成的手链，如果规定从其中一个珠子出发只能朝着一个方向 \\ 前进的话那么这个珠子必须经历五步才能回到原位置，所有珠子是一致的，如果把每个珠子看做一个状态， \\ 那这就是一个周期链，因为最大公约数为5不为1。 \end{gathered}$$

• $$\begin{gathered} 非周期性的理解: \\ 还是那五颗珠子，如果现在假设第三颗珠子有概率从自己出发下一步立即返回自己，那么它从自身返回自身的步数 \\ 就可以是从1或5，而其他珠子返回自身额步数就有可能是5\sim +\infty ，因为在经过第三颗珠子的时候是不知道它要 \\ 在自身循环多少次，所消耗的步数也就可以因为在该处的循环而无节制的增长，而从5到+\infty 的公约数只有1 \end{gathered}$$

• $$\begin{gathered} 非周期性与周期性马尔科夫链：如果马尔科夫链中的所有状态都是非周期性的，则该链条是非周期的， \\ 否则就是周期性的。也就是说但凡只要有一个状态的周期不为1那整个链条就是周期的 \end{gathered}$$

3. 平稳分布以及存在性和唯一性

1). 平稳分布

• $$\begin{gathered} 一个列向量s=\left[\begin{array}{c}{s}_1\\ ⋮\\ s_M\end{array}\right]，其中s_i\ge 0并且\sum _i{s}_i=1。若有一个转移矩阵为Q^T的马尔科夫链，且s^T{Q}^T=s^T \\ 或Qs=s，那么就称s为稳态向量，s内部元素所形成的分布为平稳分布 \end{gathered}$$
• $平稳分布是边缘分布，最直观的解释就是当前状态的分布s经过一步转移后得到的状态的边缘分布依然是s$
• $$\begin{gathered} 从Qs=s中不难看出，其实稳态向量s是转移矩阵Q中的特征值\lambda =1时所对应的的特征向量进行归一化后的结果 \\ 即若该特征向量为x，则s=\frac{x}{\sum _i{x}_i} \end{gathered}$$

2). 存在性和唯一性

• 在一个有限状态的空间上，平稳分布总是存在的。而根据佩龙定理，任何不可约的马尔科夫链都有一个唯一的平稳分布。在这个分布中，每个状态都有正的概率
• 从唯一性上可以得知，会存在存在一个以上的平稳分布的马尔科夫链，比如说赌徒破产的问题，假设金额有限，那么如果一直持续赌下去，结果只会有两种，一种是输光所有的钱，一种是赢得所有的钱，在达到其中一种状态后，该链条便会在此状态下一直循环重复，那这两种状态所表现出来的就是两种平稳分布，而链条只会到达其中一种。

3). 收敛性

• $$\begin{gathered} 收敛性适用于不可约非周期马尔科夫链，说白了就是对于任意初始状态分布t，在长时间运行链条之后， \\ t都会收敛于平稳分布s，用矩阵公式说明的话就是设n为链条运行步数，Q为转移矩阵于是\underset{n\to \infty }{\lim }{Q}^{n}t=s \end{gathered}$$
• $$\begin{gathered} 要注意的是存在唯一的平稳分布不等于链条会收敛到该平稳分布，比如之前所说的周期马尔科夫链 \\ Q=\left[\begin{array}{ccccc}0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 1\\ 1& 0& 0& 0& 0\end{array}\right]，如果初始状态分布为平稳分布，即t=s=(\frac{1}{5},\frac{1}{5},\frac{1}{5},\frac{1}{5},\frac{1}{5}{)}^T，那么Q^{n}t=s \\ 但是如果初始状态分布为任意分布比如t=(1,0,0,0,0{)}^T，那么Q^{n}t永远不会收敛于s。 \\ 考虑到周期马尔科夫链的特殊性，于是在定义收敛性时要去除周期链 \end{gathered}$$
• $对于一条马尔科夫链\{\begin{array}{ll}具有收敛性& \Rightarrow 拥有唯一的平稳分布因为是不可约非周期链\\ 拥有平稳分布& \nRightarrow 具有收敛性比如周期性链\end{array}$

4. 可逆性

1). 定义和性质

• $$\begin{gathered} 可逆性：令Q=(q_{ij})是一个马尔科夫链的转移矩阵，假定有一个序列s=(s_1,\cdots ,s_M)，其中s_i\ge 0，\sum _i{s}_i=1 \\ 使得s_i{q}_{ij}=s_j{q}_{ji}对于所有i和j都成立，则这个方程被称为可逆性条件或者详细的平衡条件，并称链相对于s可逆 \end{gathered}$$
• $$\begin{gathered} 可逆性意味着平稳性:根据可逆性\sum _i{s}_i{q}_{ij}=\sum _i{s}_j{q}_{ji}=s_j\sum _i{q}_{ji}=s_j，很显然s具有平稳性，如果s为非负向量 \\ 并且元素和为1，那么s就是这个链条的平稳分布 \end{gathered}$$
• $$\begin{gathered} 可逆性的作用:由于具有可逆性的分布s可以被证明为是平稳分布，那么便可以利用可逆性s_i{q}_{ij}=s_j{q}_{ji}去求取 \\ 这个平稳分布，有时一些特殊的巨大转移矩阵通过求取特征向量来得到稳态向量的方法是比较麻烦的， \\ 这时使用可逆性条件求取会比较方便的 \end{gathered}$$
• $$\begin{gathered} 需要注意的是，如果能够证明一条马尔科夫链相对于一条状态分布向量s可逆，那么 \\ 所能够得到的结论，该状态分布向量是马尔科夫链的一条稳态向量 \\ 无法得到的结论，该链是否拥唯一的平稳分布，该链是否具有收敛性 \\ 也就是说除了该向量的平稳性之外其余任何性质都无法证明 \end{gathered}$$

2). 双随机矩阵

$$\begin{gathered} 双随机矩阵是一个对称的转移矩阵，显然q_{ij}=q_{ji}，于是\sum _j{q}_{ij}=\sum _j{q}_{ji}=1，也就是说每一行的元素和与每一列 \\ 的元素和都为1。既然q_{ij}=q_{ji}那么若想s_i{q}_{ij}=s_j{q}_{ji}，则必有s_i=s_j，这也就是说稳态向量是一个内部元素全都 \\ 相等的向量，如果状态空间的大小为M，那么稳态向量s=(\frac{1}{M},\frac{1}{M},\cdots ,\frac{1}{M}) \end{gathered}$$

3). 无向网络上的随机游走

$$\begin{gathered} 有上图这样一个马尔科夫链，从一个状态可以前往任何一个与之相连的状态，而它前往相邻状态的概率由道路上的 \\ 权重给出，比如状态1到状态3的权重w_{13}=3，到状态二的权重为w_{12}=7，而某一状态去往其他状态的权重总和为 \\ {v}_i=\sum _j{w}_{ij}，比如状态1到状态3和状态2的权重和为v_1=w_{13}+w_{12}=3+7=10，那么从一个状态去往其他状态 \\ 的概率即为q_{ij}=\frac{w_{ij}}{v_i}，比如从状态一去往状态三的概率q_{13}=\frac{w_{13}}{v_1}=\frac{3}{10}，去往状态二的概率为q_{12}=\frac{w_{12}}{v_1}=\frac{7}{10}。 \\ 又由于道路ij和道路ji是相同的，所以设权重w_{ij}=w_{ji}。于是在这种网络的马尔科夫链中会存在v_i{q}_{ij}=v_j{q}_{ji} \\ 形式的可逆性条件。如果设Z=\sum _i{v}_i，那么可以求出该马尔科夫链的稳态向量s=(\frac{v_1}{Z},\frac{v_2}{Z},\frac{v_3}{Z},\frac{v_4}{Z},\frac{v_5}{Z}) \end{gathered}$$

4). 埃伦菲斯特链

假 设 有 两 个 容 器 ， 容 器 一 为 空 的 ， 容 器 二 中 有 M 个 粒 子 ， 现 在 随 机 选 择 一 个 粒 子 ， 被 选 中 的 粒 子 将 被 移 动 到 另 外 一 个 容 器 中 ， 也 就 是 说 如 果 选 中 的 粒 子 在 容 器 一 中 ， 那 它 将 被 移 动 到 容 器 二 中 ， 反 之 则 被 移 动 到 容 器 一 中 ， 则 以 容 器 一 中 的 粒 子 数 量 为 状 态 的 状 态 空 间 为 { 0 , 1 , 2 , ⋯   , M } ， 很 明 显 前 后 两 个 节 点 上 状 态 的 变 化 符 合 一 个 马 尔 科 夫 链 的 特 征 假设有两个容器，容器一为空的，容器二中有M个粒子，现在随机选择一个粒子，被选中的粒子将被移动到另外\\ 一个容器中，也就是说如果选中的粒子在容器一中，那它将被移动到容器二中，反之则被移动到容器一中，则以\\ 容器一中的粒子数量为状态的状态空间为\{0,1,2,\cdots,M\}，很明显前后两个节点上状态的变化符合一个马尔科夫链\\的特征 假设有两个容器，容器一为空的，容器二中有M个粒子，现在随机选择一个粒子，被选中的粒子将被移动到另外一个容器中，也就是说如果选中的粒子在容器一中，那它将被移动到容器二中，反之则被移动到容器一中，则以容器一中的粒子数量为状态的状态空间为{0,1,2,⋯,M}，很明显前后两个节点上状态的变化符合一个马尔科夫链的特征

$$\begin{gathered} 埃伦菲斯特链是一个特殊的出生死亡链，链中每一步状态返回自我的概率为0，即q_{ii}=0。状态空间大小为M的话， \\ 稳态向量的元素随着i由0到M而变化，s_i=\left(\genfrac{}{}{0ex}{}{M}{i}\right)(\frac{1}{2}{)}^M，以M=10为例的马尔科夫链的转移矩阵如下 \end{gathered}$$
$$\begin{gathered} \left[\begin{array}{ccccccccccc}0& 0.1& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 1& 0& 0.2& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0.9& 0& 0.3& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0.8& 0& 0.4& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0.7& 0& 0.5& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0.6& 0& 0.6& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0.5& 0& 0.7& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0.4& 0& 0.8& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0.3& 0& 0.9& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0.2& 0& 1.0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0.1& 0\end{array}\right]\stackrel{稳态向量}{\Rightarrow }\left[\begin{array}{c}0.0010\\ 0.0098\\ 0.0439\\ 0.1172\\ 0.2051\\ 0.2461\\ 0.2051\\ 0.1172\\ 0.0439\\ 0.0098\\ 0.0010\end{array}\right] \\ \begin{array}{rl}& 由s_i=\left(\genfrac{}{}{0ex}{}{M}{i}\right)(\frac{1}{2}{)}^M，可知当i=\frac{M}{2}时s_i取最大值，将M=10,i=5代入计算可得s_5=(\genfrac{}{}{0ex}{}{10}{5})(\frac{1}{2}{)}^{10}=0.2461\\ & 正是稳态向量中元素的最大值\end{array} \end{gathered}$$

5. 稳态向量的基变换解释

当 一 个 状 态 空 间 大 小 为 n 的 马 尔 科 夫 链 的 转 移 矩 阵 为 Q ， 而 s 为 稳 态 向 量 时 ， 显 然 s = Q s ， 那 么 如 果 以 线 性 代 数 中 基 变 换 的 角 度 去 看 的 话 ， 如 果 设 经 Q 转 移 前 的 空 间 基 向 量 序 列 为 { q ( : , 1 ) , q ( : , 2 ) , ⋯   , q ( : , n ) } ， 转 移 后 的 空 间 为 向 量 空 间 R n 中 的 标 准 空 间 E ， 基 向 量 序 列 为 { e 1 , e 2 , ⋯   , e n } 。 则 s = Q s 可 写 为 s e = Q s q 。 其 中 s q 是 在 空 间 Q 中 的 向 量 的 坐 标 ， 而 s e 是 向 量 s q 转 移 到 空 间 E 中 的 向 量 ， 而 s e = s q 。 于 是 从 基 变 换 的 角 度 去 看 ， 一 个 马 尔 科 夫 链 的 稳 态 向 量 是 一 个 空 间 基 向 量 从 { q ( : , 1 ) , q ( : , 2 ) , ⋯   , q ( : , n ) } 变 化 到 { e 1 , e 2 , ⋯   , e n } 时 ， 坐 标 不 发 生 变 化 的 向 量 当一个状态空间大小为n的马尔科夫链的转移矩阵为Q，而s为稳态向量时，显然s=Qs，\\ 那么如果以线性代数中基变换的角度去看的话，如果设经Q转移前的空间基向量序列为\{q_{(:,1)},q_{(:,2)},\cdots,q_{(:,n)}\}，\\ 转移后的空间为向量空间R^n中的标准空间E，基向量序列为\{e_1,e_2,\cdots,e_n\}。则s=Qs可写为s_e=Qs_q。其中s_q\\ 是在空间Q中的向量的坐标，而s_e是向量s_q转移到空间E中的向量，而s_e=s_q。于是从基变换的角度去看， 一个\\马尔科夫链的稳态向量是一个空间基向量从\{q_{(:,1)},q_{(:,2)},\cdots,q_{(:,n)}\}变化到\{e_1,e_2,\cdots,e_n\}时，坐标不发生变化的向量 当一个状态空间大小为n的马尔科夫链的转移矩阵为Q，而s为稳态向量时，显然s=Qs，那么如果以线性代数中基变换的角度去看的话，如果设经Q转移前的空间基向量序列为{q(:,1)​,q(:,2)​,⋯,q(:,n)​}，转移后的空间为向量空间Rn中的标准空间E，基向量序列为{e1​,e2​,⋯,en​}。则s=Qs可写为se​=Qsq​。其中sq​是在空间Q中的向量的坐标，而se​是向量sq​转移到空间E中的向量，而se​=sq​。于是从基变换的角度去看，一个马尔科夫链的稳态向量是一个空间基向量从{q(:,1)​,q(:,2)​,⋯,q(:,n)​}变化到{e1​,e2​,⋯,en​}时，坐标不发生变化的向量

二. 马尔科夫链蒙特卡罗方法

a. 前言

对于马尔科夫链蒙特卡罗方法而言，其过程是一个抽样的过程，而其目的只有一个就是模拟分布，模拟的对象不一定是已经存在的分布，也有可能是模拟一些通过公式计算难以推导出的分布。而每一个抽样对象就是一个状态，马尔科夫链就是在这些状态之间不断游走。

b. 关于状态

1. 对于MCMC，不管使用哪一种方法，状态的定义都是首要的也是非常重要的。
2. 如果状态中的属性只有一个，那么就是这个属性的变化引起了状态的转换；如果状态中有多个属性，那么每次状态的转换都只能由其中一种属性的变化而引起

1. Metropolis-Hastings 方法

$对任意初始状态X_0，设马尔科夫链当前位于状态X_n，链的一次转移遵循以下步骤。$

1. $若X_n=i，依据初始转移矩阵P中第i行的各转移概率给出转移状态到j的建议$
2. $计算接受概率a_{ij}=min(\frac{s_j{p}_{ji}}{s_i{p}_{ij}},1)$
3. $抛掷一枚正面朝上概率为a_{ij}的硬币$
4. $$\begin{gathered} 若硬币正面朝上，则接受建议，从而链在下一时刻转移至状态j，即X_{n+1}=j；否则，拒绝该建议，链在下一 \\ 时刻仍然停留在当前状态i，即X_{n+1}=i \end{gathered}$$

解释

1. $$\begin{gathered} 首先要明确p_{ij}和s_i，p_{ij}是状态i与j之间的状态转移的建议概率，也就是说我们可以涉及一个初始分布让状态 \\ 间的转移概率服从这个分布，但该分布不一定是状态向量所服从的真实的平稳分布，比如说j-i=\xi ， \\ i-j=-\xi ，且\xi \sim N(0,1)，那么p_{ij}=\varphi (\xi )，p_{ji}=\varphi (-\xi )，也就是说每两个状态间的转移建议概率服从一个 \\ 标准正态分布，同时由于标准正态分布的对称性，所以p_{ij}=p_{ji}。也就是说对于大部分转移建议矩阵而言其 \\ 设计应该是一个对称矩阵，这样有助于后边的计算 \end{gathered}$$
2. $s_i为状态i在平稳分布中的概率，平稳分布是要根据要模拟或者要求解的分布而取值$
3. 为 什 么 接 受 概 率 是 a i j = m i n ( s j p j i s i p i j , 1 ) ， 因 为 真 正 的 转 移 概 率 是 q i j = p i j a i j ， 接 受 概 率 如 此 设 计 主 要 是 为 了 满 足 s i q i j = s j q j i 条 件 的 成 立 ， 从 而 证 明 在 更 新 转 移 概 率 后 的 转 移 矩 阵 中 ， { s 1 , s 2 , ⋯   , s n } 永 远 是 一 条 稳 态 向 量 为什么接受概率是a_{ij}=min(\displaystyle \frac{s_jp_{ji}}{s_ip_{ij}},1)，因为真正的转移概率是q_{ij}=p_{ij}a_{ij}，接受概率如此设计主要是为了满足\\ s_iq_{ij}=s_jq_{ji}条件的成立，从而证明在更新转移概率后的转移矩阵中，\{s_1,s_2,\cdots,s_n\}永远是一条稳态向量 为什么接受概率是aij​=min(si​pij​sj​pji​​,1)，因为真正的转移概率是qij​=pij​aij​，接受概率如此设计主要是为了满足si​qij​=sj​qji​条件的成立，从而证明在更新转移概率后的转移矩阵中，{s1​,s2​,⋯,sn​}永远是一条稳态向量
4. $$\begin{gathered} p一般与s不服从同一个随机分布，首先如果是一维状态空间，p与s是不可能服从同一个随机分布的，因为 \\ 如果服从了，那平稳分布就没有求的必要了，p就是平稳分布，或者平稳分布可以由初始马尔科夫链获得。 \\ 其次如果是多维状态空间，如果p服从的条件分布存在于s服从的联合分布中，那么Metropolis-Hastings \\ 方法将会变为Gibbs方法 \end{gathered}$$

2. Gibbs抽样

Gibbs主要用于多维状态空间的平稳分布的模拟。主要分系统扫描和随机扫描。Gibbs分布不能选择一个建议分布，或者说它的建议分布是要模拟的状态向量所服从的联合分布中的条件分布，也就说Gibbs抽样更强调条件分布

$系统扫描抽样$

1. $给定Y=y_n，从X的条件分布P(X|Y=y_n)中随机抽取x，其值记为x_{n+1}，则X_{n+1}=x_{n+1}$
2. $给定X=x_{n+1}，从Y的条件分布P(Y|X=x_{n+1})中随机抽取y_{n+1}，记Y_{n+1}=yn+1。$
3. $重复步骤1和2，得到马尔科夫链(X_0,Y_0),(X_1,Y_1),(X_2,Y_2),\cdots 的平稳分布记为p_{x,y}$

$随机扫描抽样$

1. $等概率地选择一个随机变量进行更新$
2. $$\begin{gathered} 若变量X被选中，则从X的条件分布P(X|Y=y_n)中随机抽取x，其值记为x_{n+1}，且X_{n+1}=x_{n+1}，Y_{n+1}=y_n； \\ 同理，若变量Y被选中，则从Y的条件分布P(Y|X=x_{n+1})中随机进行抽取得到y_{n+1},记X_{n+1}=x_n,Y_{n+1}=y_{n+1} \end{gathered}$$
3. $重复步骤1和2，得到马尔科夫链(X_0,Y_0),(X_1,Y_1),(X_2,Y_2),\cdots 的平稳分布记为p_{x,y}$