马尔科夫链

1.什么是马尔科夫链

马尔可夫链，又称离散时间马尔可夫链，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。（来自数学中国公众号）

在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。

2.马尔科夫链简单定义公式

3.马尔科夫链原理

马尔科夫链原理依赖于转移矩阵和转移图来描述状态的变化。转移矩阵，作为一个二位数组，明确了从一个状态到另一个状态的转移概率【在实际建模过程中，我认为这个概率是比较难找到的，因为要通过大数据来计算这个概率】。而转移图则直观地展示了这些状态间的转移关系，为理解和分析提供了便捷可视化工具

4.马尔科夫链收敛条件

首先，马尔科夫链要能收敛，需要满足以下条件：

1.可能的状态数是有限的。

2.状态间的转移概率需要固定不变。

3.从任意状态能够转变到任意状态。

4.不能是简单的循环，例如全是从x到y再从y到x。

5.简要代码

import numpy as np

# 定义天气状态
weather_states = ['Sunny', 'Cloudy', 'Rainy']

# 定义转移概率矩阵
#transition_matrix[i, j] 表示从状态 weather_states[i] 转移到 weather_states[j] 的概率。
transition_matrix = np.array([[0.7, 0.2, 0.1],
                              [0.3, 0.6, 0.1],
                              [0.2, 0.3, 0.5]])

# 初始状态概率
# 初始状态的概率分布是：晴天（Sunny）60%，多云（Cloudy）30%，雨天（Rainy）10%。
initial_state = np.array([0.6, 0.3, 0.1])


# 生成状态序列的函数
def generate_weather(num_days):
    # 初始化天气序列
    weather_sequence = []
    # 初始状态
    #随机选择一个天气作为当前的初始天气
    current_weather = np.random.choice(weather_states, p=initial_state)
    weather_sequence.append(current_weather)

    # 生成天气序列
    #只根据当前天气来选择，如果是晴天就选择第一行，与之前的天气没有关系
    for _ in range(num_days - 1):
        if current_weather == 'Sunny':
            next_weather = np.random.choice(weather_states, p=transition_matrix[0])
        elif current_weather == 'Cloudy':
            next_weather = np.random.choice(weather_states, p=transition_matrix[1])
        else:
            next_weather = np.random.choice(weather_states, p=transition_matrix[2])
        weather_sequence.append(next_weather)
        current_weather = next_weather

    return weather_sequence


# 生成天气序列示例，假设预测7天的天气
num_days = 7
predicted_weather = generate_weather(num_days)

# 输出预测的天气序列
print("Predicted weather:")
print(predicted_weather)

6.总结

这个应该属于比较直观的马尔科夫链，难点感觉是在寻找转移矩阵的概率，还有数据收集。明天看一下HMM模型的隐式马尔科夫链，感觉这个应用范围比较广