20230323
P1-P15
马尔科夫决策过程
马尔可夫决策过程(Markov Decision Process, MDP)是一种序贯决策的数学模型,它适用于系统状态具有马尔可夫性质的环境,用于模拟智能体可实现的随机性策略与回报。
MDP得名于俄国数学家安德雷·马尔可夫,以纪念其在马尔可夫链研究上的贡献。
MDP基于智能体和环境两组交互对象进行构建,包含状态、动作、策略和奖励等要素。在模拟过程中,智能体会根据当前系统状态,按照策略对环境实施动作,从而改变环境状态并获得奖励。随着时间的积累,这些奖励形成回报。由于MDP的理论基础是马尔可夫链,它也被视为考虑了动作的马尔可夫模型。
MDP可以在离散时间或连续时间上建立,分别称为“离散时间马尔可夫决策过程”和“连续时间马尔可夫决策过程”。MDP还有多种变体,包括部分可观察马尔可夫决策过程、约束马尔可夫决策过程和模糊马尔可夫决策过程。
在应用方面,MDP被用于机器学习中的强化学习问题建模。通过使用动态规划、随机采样等方法,可以求解使回报最大化的智能体策略。MDP在自动控制、推荐系统等领域也有应用。
马尔科夫链
马尔可夫链是概率论和数理统计中的一个概念,它描述了一种状态序列,其中每个状态值仅取决于前面有限个状态。这些状态变量的集合被称为“状态空间”,而每个状态值是在特定时间点上的状态。如果一个马尔可夫链在给定过去状态的情况下,对于未来的状态分布仅依赖于当前状态,则该链具有马尔可夫性质。
马尔可夫链可以通过转移矩阵和转移图来定义,其中转移矩阵表示状态之间的转移概率。马尔可夫链可能具有其他性质,如不可约性、常返性、周期性和遍历性。一个不可约和常返的马尔可夫链是严格平稳的,它具有唯一的平稳分布。遍历马尔可夫链指的是其极限分布收敛于平稳分布。
马尔可夫链在多个领域有应用,包括蒙特卡罗方法、动力系统、化学反应、排队论、市场行为和信息检索。此外,马尔可夫链也是机器学习算法如隐马尔可夫模型、马尔可夫随机场和马尔可夫决策过程的理论基础。
马尔可夫链的命名来源于俄国数学家安德雷·马尔可夫,以纪念他对马尔可夫链概念的提出及其对收敛性质的研究。
隐马尔可夫模型
隐马尔可夫模型(Hidden Markov Model,HMM)是一种统计模型,用于描述包含隐含未知参数的马尔可夫过程。
HMM的核心在于,其状态(隐含变量)对观察者来说是不可见的,但可以通过观察序列(显含变量)来推断这些状态。HMM由两部分组成:隐含状态序列和观测序列。隐含状态序列遵循马尔可夫链的规则,即当前状态仅依赖于前一个状态,而与后续状态无关。观测序列则是由隐含状态通过某个概率分布生成的,这些分布称为输出概率。HMM的主要应用包括语音识别、模式识别、机器翻译、生物信息学等。
HMM的评估和推理算法包括前向算法、后向算法、Viterbi算法、Baum-Welch算法等,这些算法用于计算给定观测序列下隐含状态序列的概率,或者寻找最可能的隐含状态序列,以产生给定的观测序列。
马尔可夫随机场
查看以下转载:
概率图模型_马尔可夫随机场
极大似然估计和贝叶斯估计
查看以下转载:
极大似然估计和贝叶斯估计