Markov Chain
文章平均质量分 67
yaliu_liu
物联网
无线网络
NB-IoT
Lora
LPWAN
MEC
展开
-
Example 2 for Markov Chain ‘Absent-minded professor problem’
这个栗子对迅速应用Markov Chain解决实际问题很有参考性意义,因此又把它从“从课程笔记中详谈-Markov Chain”拎出来说一下:“缺心眼”教授忘带伞英文即“Absent-minded professor problem”,(虽然“缺心眼”听上去像骂人,但是Absent-minded professor怎么翻译都像缺心眼教授唉)这个栗子假设有一个“缺心眼”教授有两把伞,而她每天都会往返...原创 2018-04-19 14:43:12 · 737 阅读 · 0 评论 -
Example 1 for Markov Chain ‘weather model’
This note is purely in English for my final exam, please be calm down if you are in trouble.Lets use Markov Chain to solve a very simple problem - 'Weather Problem', we have the following assumptions...原创 2018-05-10 18:36:37 · 287 阅读 · 0 评论 -
Notes 2-Markov Chain- transition probability
一步转移概率现在,我们就均匀时间的Markov链讨论下其状态转移的规律。假设有一Markov链,是一个离散状态空间(有限或者无限):根据Markov过程的无记忆性和时间均匀Markov链的时间均匀性,可以得到状态i到j的一步转移概率。一步转移概率矩阵另外,还可以以转移概率矩阵的方式写出该Markov链的所有一步转移概率:多跳转移概率另外,根据全概率公式以及Chapman-Kopmogorov方程,...原创 2018-05-10 18:50:20 · 985 阅读 · 0 评论 -
Notes 3-Markov Chain- stationary distribution
瞬时概率瞬时概率矩阵结论,给定0时刻的瞬时概率矩阵,可以得到n时刻的瞬时概率矩阵。从上面对瞬时概率的定义,我们可以得到:这个公式描述了,任一时刻的瞬时概率矩阵可以用前一时刻的瞬时概率矩阵乘以一步转移概率矩阵求得。经过上面的栗子,我们已经可以通过对一个满足Markov分布的事件(无记忆的)进行状态转移图建模,还可以得出它的一步状态转移矩阵,还可以知道任一时刻各自状态发...原创 2018-05-10 18:50:18 · 4403 阅读 · 0 评论 -
Notes 4-Markov Chain- computing methods of stationary distribution
稳态分布的计算对于有限状态数量的稳态分布计算Method 1:将系统状态矩阵代入稳态分布的公式中,解方程即可:Method 2:对于较少状态数量,直接计算转移概率矩阵的极限,如果收敛于一个矩阵的话,那么里面的每一行都是稳态分布。对于《“缺心眼”教授》的栗子,我们可以用上面这两种方法来求出,这位教授在统计意义上会被淋湿的概率,其实也就是下雨但是没有伞的概率。我们可以先Method 1求出这个问题的稳...原创 2018-05-10 18:50:14 · 746 阅读 · 0 评论 -
Example 3 for Markov Chain -《双态机-Two-state machine》
sd原创 2018-05-17 11:08:54 · 414 阅读 · 0 评论 -
Example 4 for Markov Chain -《赌徒的下场-Gambler‘s Ruin》
Consider two gamblers, A and B, who have a combined fortune of n dollars. They bet one dollar each on the toss of a coin.If the coin turns up heads, A wins a dollar from B.If the coin turns up tails,...原创 2018-05-17 11:16:46 · 920 阅读 · 0 评论 -
Notes 1-Markov Chain- Classificaiopn
In briefMarkov Chain是安德烈·马尔可夫(A.A.Markov,1856-1922)提出的,用来研究随机过量的状态空间中,各个状态相互转换的规律的数学表示方法。如图是从度娘那儿刨来的一个描述天气状态转换的图,每个有向箭头都表示了初始状态到目的状态的转换,箭头线上的数字则是发生这种状态转换的概率。Markov就是研究如何用数学的方法(全概率公式,随机过程,转移概率,转移概率矩阵)来...原创 2018-04-06 17:22:40 · 640 阅读 · 0 评论