马尔科夫链

马尔可夫性：过程或（系统）在时刻t0所处的状态为已知的条件下，过程在时刻t>t0所处状态的条件分布过程在时刻t0之前所处的状态无关的特性成为马尔科夫性或无后效性。具有马尔可夫性的随机过程成为马尔可夫过程。

马尔可夫链：时间和状态都是离散的马尔科夫过程。下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。

马尔可夫链是一个随机系统，它必须满足两个条件：
1.系统任意时刻可以用有限个可能状态之一来描述
2.系统无后效性，即某阶段的状态一旦确定，则此后过程的演变不再受此前各种状态及决策的影响

性质：
马尔可夫链模型的状态转移矩阵收敛到的稳定概率分布与初始状态概率分布无关。可以用任意的概率分布样本开始，只要马尔可夫链模型的状态转移矩阵确知，在一定规模的转换之后，就可以得到符合对应稳定概率分布的样本。

马尔科夫链要能收敛，需要满足以下条件：
1.可能的状态数有限。
2. 状态间的转移概率固定不变。
3.能从任意状态转变到任意状态。
4.不能是简单的循环，例如从x到y再从y到x。

例子：

随机漫步
```python
from random import choice
import matplotlib.pyplot as plt  #绘图
 
class RandomWork():
    def __init__(self, num_points=5):  #实例化初始对象
        #步数
        self.num_points = num_points
 
        self.x_values = [0]
        self.y_values = [0]
 
    def fill_walk(self):
        #未完成步数时
        while len(self.x_values) < self.num_points:
            #前进/后退 步长---决定x轴方向
            x_direction = choice([1, -1])
            x_distance = choice([0, 1, 2, 3, 4])
            x_step = x_direction * x_distance
 
            y_direction = choice([1, -1])
            y_distance = choice([1, 2, 3, 4])
            y_step = y_direction * y_distance
            
            #将随机决定的方向放入最后
            next_x = self.x_values[-1] + x_step
            next_y = self.y_values[-1] + y_step
 
            self.x_values.append(next_x)
            self.y_values.append(next_y)

 
rw = RandomWork()
rw.fill_walk()
plt.plot(rw.x_values, rw.y_values)
plt.show()

https://blog.csdn.net/dreamlee97/article/details/122026235