论文泛读：基于马尔可夫模型的多agent 自适应在线验证

一、期刊论文概述

1.论文题目：基于马尔可夫模型的多agent 自适应在线验证

2.作者：叶幸瑜，刘玮，王宁，甘陈峰

3.文献来源：计算机应用研究

4.发表时间：2021 年5 月

5.创新点：将在线定量验证技术（RQV）扩展至多agent系统中，提出了基于马尔可夫模型的多agent 自适应在线验证方法，并验证了该方法的可行性

二、基础知识：

马尔可夫模型：包含我们悉知的马尔可夫链、马尔可夫决策过程、隐马尔可夫链（HMM）等随机过程/随机模型。一个随机过程可以表示为函数X: T × Ω→S，其中T 表示一组时间点，Ω 表示样本空间，S 表示X 的状态空间。若时间T 以离散的时间间隔演进，则X 为离散时间过程; 类似地，若T 以连续的形式演进，则X 为连续时间过程。用X( t) 表示在t 时刻的状态过程，其中t∈T。满足马尔可夫性质的随机过程，被称为马尔可夫过程。马尔可夫性质表现了未来状态对目前状态的条件依赖性以及对过去状态的独立性。

三、重要方法及应用

1.研究方法

对需要验证的系统进行建模，然后再通过模型检查器进行验证

2.研究方法在论文中的运用

根据多agent 系统中不同的功能区分异构的agent;其次对这些agent 的逻辑进行分析，提取其关键状态和状态转换事件，分别构造单独的离散时间马尔可夫模型; 最后使用模型检查器能够识别的模型语言描述这些抽象模型。每一类模型检查器在对模型进行验证前都需要将抽象的马尔可夫模型
描述为其所支持的模型语言，不同的模型检查器使用不同的模型描述语言。其中，模型检查器Prism 使用Prism 语言描述抽象模型。Prism 语言中同一模型下可存在多个模块，且多个模块间可通过同步进行同时跳转，因此可以将上述步骤中单独的离散时间马尔可夫模型构建为同一模型的不同模块并使用同步进行跳转，从而满足多agent 系统整体功能。

四、思考与启发

多agent马尔可夫可用于自适应在线验证，需要对环境因素进行参数化再进行模型的构建。