Anne033的博客

In this post, we prove some fundamental martingale inequalities that, once again, are due to Joe Doobhttps://fabricebaudoin.wordpress.com/2012/04/10/lecture-11-doobs-martingale-maximal-inequalities/In mathematics, Doob’s martingale inequality, also known

λWLλWλ W = L。

01 排队论背景与发展介绍排队论最早起源于对电话通讯排队接线的研究，早在1909年，丹麦数学家A. K. Erlang 发表了The Theory of Probabilities and Telephone Conversations 初步产开了对由于随机需求的出现而产生非稳态队列的现象的研究。在他后期的工作中，他发现了几个重要结论: 自动电话通讯系统可以以两种基本概率模型模拟: 1. 泊松输入，指数分布服务时间，多服务流 2. 泊松输入, 稳定常态服务时间，单服务流。Erlang亦提出队列稳态平衡的概

1 引言之前学习了伯努利过程和泊松过程，它们是无记忆性，不依赖于过去的状态，今天学习了马尔可夫链，它会依赖于过去的过程，更准确的说是依赖于过去的某种状态。2 离散时间的马尔可夫链（Markov Chain, MC）另一种是转移概率图（transition probability graph），类似：3 状态分类一些状态被访问一次后，一定还会被继续访问，而对于另一些状态来说却不是这样的。我们来给我们的状态的可访问性提供一些严格的定义。　　如果i是常返的，A(i)可以称作常返类，A(i)

https://www.unf.edu/~cwinton/html/cop4300/s09/class.notes/e1-Stability.pdf

我们所说的抽样，其实是指从一个概率分布中生成观察值（observations）的方法。而这个分布通常是由其概率密度函数（PDF）来表示的。而且， 即使在已知PDF的情况下，让计算机自动生成观测值也不是一件容易的事情。从本质上来说，计算机只能实现对均匀分布（Uniform distribution）的采样。 那如何实现计算机很好的采样数据样本呢？今天我们一起来看看实现方法。在采样问题上我们可能会面对这些问题：计算机只能实现对均匀分布的采样，但我们仍然可以在此基础上对更为复杂的分布进行采样，那具体该如何操

1. 更新过程更新过程（renewal process）是一类随机过程，是描述元件或设备更新现象的一类随机过程。设对某元件的工作进行观测。假定元件的使用寿命是一随机变量，当元件发生故障时就进行修理或换上新的同类元件，而且元件的更新是即时的(修理或更换元件所需的时间为零)。如果每次更新后元件的工作是相互独立且有相同的寿命分布，令N(t)为在区间(0，t]中的更新次数，则称计数过程{N(t)，t≥0}为更新过程。在数学上更新过程可简单地定义为相邻两个点事件(即更新)的间距是相互独立同分布(但从原点到第一次

青蛙在荷叶上跳动，在每个不同的荷叶上表示不同的状态，从一个荷叶跳到另一个荷叶表示状态的转移，该转移过程只依赖于现在所处荷叶，而与以前呆过的荷叶无关，如果只考虑青蛙跳跃的时刻序列，这个过程就是离散时间的马氏过程，如果考虑青蛙在荷叶上呆了一段时间，且这段时间是服从指数分布的，那这个过程是连续时间马氏过程，如果时间是非指数分布的，那这个过程是半马氏分布。...

传统的网络流量模型假设数据包到达的过程为泊松过程，数据包长度为指数分布，并将这种模型成功应用于ARPANET，但是随着网络规模扩大、Qos保证技术以及新的应用的出现，网络流量特征得到极大改变，经典的泊松模型已经不能再表示实际的网络流量特征。目前，网络流量模型是一个活跃的研究领域，模型种类众多，但按照其相关性特点大致可以分为短相关流量模型和长相关流量模型两大类。短相关模型包括马尔可夫模型和回归模型马尔可夫模型可细分为On-Off模型（On-Off Model)、IPP模型（Interrupted Po

马尔可夫决策过程为决策者在随机环境下做出决策提供了数学架构模型，为动态规划与强化学习的最优化问题提供了有效的数学工具，广泛用于机器人学、自动化控制、经济学、以及工业界等领域。当我们提及马尔可夫决策过程时，我们一般特指其在离散时间中的随机控制过程：即对于每个时间节点，当该过程处于某状态(s)时，决策者可采取在该状态下被允许的任意决策(a)，此后下一步系统状态将随机产生，同时回馈给决策者相应的期望值，该状态转移具有马尔可夫性质。https://zhuanlan.zhihu.com/p/35354956

1. Markov Processes马尔可夫过程1.1 Markov Property马尔可夫性在了解马尔可夫过程之前，我们首先得了解什么是马尔可夫性，马尔可夫性其实是一种假设，“未来的一切仅与现在有关，独立于过去的状态”。关于马尔可夫性，我们给出了如下的Definition：从上述的式子可以看出，t+1时刻的状态包含了1,…,t时刻状态的全部历史信息，并且当我们知道t时刻的状态后，我们只关注于环境的信息，而不用管之前所有状态的信息，这就是马尔可夫性，当论文中说某一状态或其他信息符合马尔可夫性时

第一部分：为什么要研究随机过程？人类认识世界的历史，就是一认识和描绘各种运动的历史，从宏观的天体运动到分子的运动，到人心理的运动-我们通称为变化，就是一个东西随时间的改变。人们最成功的描绘运动的模型是牛顿的天体运动，确定性是牛顿体系最大的特征。给定位置和速度，运动轨迹即确定。但是20实际后的科学却失去了牛顿美丽的确定性光环。因为当人们试图描绘一些真实世界，充满复杂而未知因素的运动时候，人们发现不确定的因素（通常称之为噪音）对事物的变化至关重要，而牛顿的方法几乎难以应用。而我们所能够给出的最好的对事物变

1. 简介在数学中，某个序列的母函数(Generating function，又称生成函数)是一种形式幂级数，其每一项的系数可以提供关于这个序列的信息。使用母函数解决问题的方法称为母函数方法。母函数可分为很多种，包括普通母函数、指数母函数、L级数、贝尔级数和狄利克雷级数。对每个序列都可以写出以上每个类型的一个母函数。构造母函数的目的一般是为了解决某个特定的问题，因此选用何种母函数视乎序列本身的特性和问题的类型。这里先给出两句话，不懂的可以等看完这篇文章再回过头来看：1.“把组合问题的加法法则和幂级