李航老师《统计学习方法》第二版第十九章马尔可夫链蒙特卡洛方法课后题答案

六七～

已于 2022-10-31 22:35:02 修改

阅读量2.3k

点赞数 6

分类专栏：统计学习方法第二版文章标签：机器学习算法人工智能 python

于 2021-05-30 18:02:10 首次发布

本文链接：https://blog.csdn.net/qq_41626059/article/details/117366138

版权

统计学习方法第二版专栏收录该内容

20 篇文章 70 订阅

订阅专栏

其他章节答案请参考我的汇总统计学习方法答案汇总，都是自己写的。

1、使用蒙特卡洛积分法求 $\int_{-\infty }^{\infty} x^{2}exp(-\frac{x^{2}}{2} )dx$ .

解：
使用代码求解。
有被积函数的形式可以看到，可以将该积分转化为期望的计算
$\int_{-\infty }^{\infty} x^{2}exp(-\frac{x^{2}}{2} )dx\\=\sqrt{2\pi}\int_{-\infty }^{\infty} x^{2}\frac{1}{\sqrt{2\pi}} exp(-\frac{x^{2}}{2} )dx\\=\sqrt{2\pi}E[x^{2}]$
因而根据上述公式，对标准的正太分布进行采样，得到足够多的数据点，利用大数定律，当采样的数据足够的多的时候，计算出来的均值和该积分真正的值很近似。

import math
import numpy as np
def Solution(k):
    '''
    Parameters
    ----------
    k : int
        采样的个数.
    Returns
    -------
    积分值.
    '''
    data = np.random.normal(loc = 0, scale = 1, size = k)
    data = data * data
    data = np.mean(data)
    return np.sqrt(2 * math.pi) * data
    
    
if __name__ == '__main__':
    k = 1000
    result = Solution(k)
    print('积分值是：', result)

2、证明如果马尔可夫链是不可约，且有一个状态是非周期的，则其他的状态也是非周期的，即这个马尔可夫链是非周期的。

证明：
先说一下大致的思想：马尔可夫链是不可约的，说明所有的状态都是互通的，也就是说明所有的状态是处于一个等价类的，等价类中的状态具有相同的性质，因而只要有一个状态是非周期的，那么其他的周期也都是非周期的。
这学期刚好修了随机过程，主要介绍马尔可夫链，下面给出详细的证明。
下面证明的主要目标是不可约的状态具有相同的周期。
假设状态 $i$ 的周期是 $d$ ,状态 $j$ 的周期是 $r$ .
由于上面的这两个状态是互通的。
所以存在两个正整数 $n_{1}，n_{2}$ 使得下式成立：
$P(X_{n_{1}}=i|X_{0}=j)>0\\P(X_{n_{2}}=j|X_{0}=i)>0$
因为状态 $j$ 的周期是 $r$ , 所以存在 $k_{0}>0$ ，当 $k > k_{0}$ ,有
$P(X_{kr}=j|X_{0}=j)>0$
故下式成立
$P(X_{n_{1}+n_{2}+kr} = i|X_{0} = i)\ge \\P(X_{n_{2}}=j|X_{0}=i)P(X_{kr}=j|X_{0}=j)P(X_{n_{1}}=i|X_{0}=j)\\ > 0$
说明 $d|n_{1}+n_{2}+kr$
同样有：
$d|n_{1}+n_{2}+(k+1)r$
两式相减，可得 $d ∣ r$
同理可得， $r ∣ d$ .所以两个整数相互整除，可以得到 $d == r$
所以，如果其中一个状态非周期，其他的状态都是非周期的。

3、验证具有以下转移概率矩阵的马尔可夫链是可约的，但是非周期的。

证明：
我们矩阵的每一列看作是一个状态，矩阵的每一列元素之和为1，也就是从该列表示的状态到其他状态的概率之和是1.0表示无法从该状态转移到其他的状态。
由矩阵元素的第四列可以看到，只有第四列的最后一个元素是1，其他的三个元素都是0，说明由状态4无法转移到其他的状态，而其他的三个状态都可以转移到状态4。因而该马尔可夫链是可约的。

对于非周期性，还是看第四列的元素，由于状态4转移到状态4的概率是1，因而0时刻从状态4出发转移到状态4的所有时刻的最小公倍数一定是1，因而根据定义是非周期的。

4、验证具有以下转移概率矩阵的马尔可夫链是不可约的，但是周期的。

证明：
还是将每一列看作是一个状态。要验证是不可约的，只要验证从任何一个状态可以以一个大于0的概率转移到其他的状态即可啦。
设 $P_{mn}$ 是矩阵 $P$ 第m行n列的元素。下面只是简要的说一下如何从当前的状态转移到别的状态，且转移的概率是正的。
比如从状态1转移到状态2，由于 $P_{12}=1>0$ ,因而状态1可以到达状态2，下面说状态2如何达到状态4，因为 $P_{32}=1/2>0$ ,说明状态2可以以一个正的概率到达状态3，又因为 $P_{34}=1/2>0$ ,因而状态3可以到达状态4，综上。状态2可以到达状态状态4，其他的类似，自己试试吧。