马尔可夫链 学习笔记

马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程——当前状态的概率只依赖于前一个状态。下面是一个简单的例子，使用三个数据（状态）来描述一个简单的马尔可夫链：

假设有三个状态：晴天（Sunny）、阴天（Cloudy）、雨天（Rainy）。每天的天气状态只依赖于前一天的天气状态。

这里是可能的状态转换概率：

• 从晴天到阴天的概率是0.4，到雨天的概率是0.1，保持晴天的概率是0.5。
• 从阴天到晴天的概率是0.3，到雨天的概率是0.4，保持阴天的概率是0.3。
• 从雨天到晴天的概率是0.2，到阴天的概率是0.5，保持雨天的概率是0.3。

下面是一个示例，描述三天内的可能天气状态变化过程，假设第一天是晴天：

1. 第一天：晴天（Sunny）

   • 以0.5的概率保持晴天
   • 以0.4的概率转变为阴天
   • 以0.1的概率转变为雨天

2. 第二天：阴天（假设第一天转变为阴天）

   • 以0.3的概率保持阴天
   • 以0.3的概率转变为晴天
   • 以0.4的概率转变为雨天

3. 第三天：雨天（假设第二天转变为雨天）

   • 以0.3的概率保持雨天
   • 以0.2的概率转变为晴天
   • 以0.5的概率转变为阴天