HCI Mechanical Evaluation

背景： 

目前，人类社会越来越依赖于人机交互系统(HCIS：Human-Computer Interactive System)。其应用领域既包括航空、铁路、公路的交通管理系统，医疗系统，电力系统，机器人，现代制造业,电子商务系统等大型公共应用系统，也包括移动通信设备、游戏机、自动取款机、自动售货机等人们日常生活中使用到的设备。在这些应用中，HCIS的可用性变得越来越重要。

然而，由于缺少自然、高效的用户界面，机器设备处理性能的迅猛提高并没有相应提高用户使用HCIS完成任务的能力。例如，许多系统依然无法吸引小孩和老人。HCIS的拙劣设计，使得系统频频出错，导致用户的安全得不到保障，或者造成用户的焦虑和紧张，使用户对系统敬而远之。为此，HCIS的可用性成为HCIS设计的重要目标，引起了各种HCIS的设计者和项目经理的强烈的兴趣。[SPC10]详细论述了各种HCIS可用性动机的来源。由于HCIS是由系统操作人员以及以计算机为基础的可操作机器设备共同构成的。因此，HCIS能否正常运行，既取决于设备是否运行无误，也取决于操作人员的操作是否正确。因此，在HCIS的设计过程中应充分考虑人的因素[CB04]。

建立以用户为中心、多通道、虚拟现实的自然而高效的人机交互是下一代人机交互的发展趋势。但是，随着人们对HCIS的可用性的要求不断提高，新型人机交互设备、人机交互风格、和智能人机交互技术的不断涌现，HCIS的功能、性能乃至规模将不可避免地不断提高。这必然导致HCIS越来越复杂，从而在HCIS设计和实现时，出错的可能性也在增加，而且这些错误对人的经济财产，乃至生命安全都可能是重大的威胁。这就迫切要求研究和开发新的HCIS的设计策略，建立HCIS的机械化评估工具，来辅助HCIS工程师即使在面临复杂人机交互场景下，依然能设计出可信的HCIS，减少用户在使用系统时出错的可能性，增加用户对系统的主观满意度。

HCIS与以用户为中心的设计方法和形式化方法：

以用户为中心的设计方法（UCD: User-Centered Design）和形式化方法是减少用户在使用系统时出错的可能性，增加HCIS的可用性，构建自然、高效、可信的HCIS的两种主要的方法[BCG09]。

通过下面对这方面研究的文献综述，不难发现人们通过这两种方法构建自然、高效、可信的HCIS，降低HCIS出错的可能性，增加HCIS的可用性方面的努力取得了丰硕的成果，经历了这样的发展历程：在上世纪80年代，形式化方法在HCIS的设计中的应用，从对系统的用户界面的形式化刻画和量化分析开始。进入90年代，逐步过渡到对用户认知模型的形式化刻画和分析，进而过渡到对HCIS的形式化验证和支持HCIS设计的机械化预测型评估技术和工具的研究。近年来，这方面的研究热点被进一步推进到以用户为中心的HCIS的机械化可用性评估技术和工具的研究。由于新的人机交互设备，新的人机交互风格的出现，以及用户对HCIS可用性提出了更高的要求，在这方面的研究人员面临着前所未有的挑战和机遇。

[CHI85]研究了形式化方法在一个商业用户界面的分析中的应用，分析出了一些用户界面的非平凡特性，但没有分析用户认知模型。[Nor90]从认知心理学角度，指出用户在交互系统进行交互时，逐步形成关于系统行为的“认知模型”，并用它来指导与系统的交互。[CMN80，CMN83]从认知心理学角度，对HCIS中的用户方面，提出了用户认知模型-GOMS模型。该模型非形式化地刻画了用户在完成具体任务时，相关的四个认知处理方面：目标、操作、方法和选择。使之成为许多人机交互认知模型研究的基础。[KP85]提出了认知复杂性理论模型-CCT模型。该模型在GOMS模型的基础上，使用产生式来刻画用户目标分层模型，使用状态图来形式化刻画HCIS。两种刻画分开并行。对用户界面的设计提供了比GOMS更丰富的用户界面的评估模型。这种模型是预测性的，可以在实现交互系统之前，量化预测用户界面的复杂程度，例如可以量化用户在进行人机交互中所需要的知识和认知负担，包括感官记忆、工作记忆和长期记忆负担，但此模型对于预测用户的错误行为，作用不明显。可编码的用户模型PUM[YGS89]，使用Soar可执行认知体系结构[Laid87]对用户实现交互任务的目标所需的知识进行编码，通过执行PUM，可以分析用来实现目标的问题空间堆栈，从而可以度量实现该交互过程的认知负担。如果PUM因为不能找到完成任务所需要的知识而不能达到目标，则设计人员可以据此判断这个设计有问题。这样，就可以在HCIS实现之前预测用户错误的行为。但是，上述作为Soar基础的问题空间模型不能够直接实现，换言之，上述用户界面分析无法机械化地完成。在国内，[Gua00]在多通道智能人机交互的环境下，对用户认知模型开展了研究。[Kir92]指出虽然人的可靠性评估(HRA: Human Reliability Assessment)技术早在上世纪80年代已经被广泛应用于安全关键的系统，但是HRA在用户界面设计的安全性评估中的成功应用案例并不多见。[FHW97]形式化刻画了用户犯错的认知模型。[RBC08]指出在HCIS的设计过程中必须建立人机交互的用户模型，以详细刻画用户在人机交互过程中所有可能发生的，在认知上合理的行为。这种模型必须能刻画特定场景下，所有的用户目标和用户行为之间的关系。许多研究者[Rus02][ BBD00]使用形式化方法，研究了用户在认知上的健忘或者错误如何影响HCIS的设计。 [RBC08]采用形式化刻画的方法，从用户的认知负担与用户对突显标记的感知的关系角度，对用户的认知处理模型做了新的研究。

在上世纪90年代，越来越多的研究者不满足于仅仅对用户界面的形式化刻画和分析，因为人们清晰地意识到安全关键系统的（如交通管理系统、医疗系统、电力系统等）的安全漏洞会带来灾难性威胁。因此，在安全关键的HCIS的设计中引入了形式化验证技术，如模型检测技术和定理证明器技术[Dix91]。其中，模型检测技术备受青睐，主要是因为它是基于状态空间搜索来解决问题的，可以完全机械化执行。并且与测试仅能发现缺陷不同，它是一种充分的验证法，能证明系统无缺陷，如有缺陷，能给出反例。例如，[PS01,LH03, DCH97, DT04]使用了模型检测技术来分析用户界面，但都没有考虑用户认知模型。我们认为这些工作主要从系统的分析与设计的方法论出发，关心的是系统的设计或者系统的实现相对于系统需求的正确性、完整性和一致性的形式化验证，人们使用这种方法主要是为了能够保证系统的正确性，能够通过揭示系统的非协调性、模糊性和非完整性来提高我们对系统的认知，从而改进HCIS的设计。其主导理念是以系统为中心的设计，而不是以用户为中心的设计，因此没有集中考虑HCIS中人的因素，换言之，它实质上是潜在地假设所有的用户是完美的，不会犯错，具有专业级别的系统操作技能。然而，在实践中，这种假设不仅仅是不成立的，而且是危险的。因为在人机交互实践中，与系统交互的用户并不完美，具有先天认知处理上的局限性。实际上，在人机交互的过程中，往往会发生在人机交互设计中未预料到的交互行为，并由此导致用户无法顺利完成人机交互的目标，甚至频频出现错误，乃至出现危险状况。[Duc96] 认为HCIS的形式化方法已经成为一个重要的研究课题。除了形式化方法要求的一般性质，如完整性、无二义性和一致性外，对HCIS的形式化方法研究需要提出了额外的几项要求：应该考虑具体的人机交互环境；应该支持协同建模；应该支持对状态、事件或行为的推理；能够适应于多领域的通用模型的形式化刻画；对用户界面设计者有切实的帮助；能将理论用一套工具封装起来；能用图的形式直观描述。这既是对HCIS的形式化方法研究的总结，也在一定程度上，为HCIS的形式化研究指明了方向。[CH98]总结了形式化验证技术在HCIS的设计中所扮演的角色。强调形式化验证在HCIS开发中的作用，不仅仅体现在验证系统规约是否满足了所有必须的系统属性。更重要的是，在HCIS的设计的过程中，对部分规约和部分系统关键属性进行验证，以支持HCIS设计过程的决策，能更好体现形式化验证的重要作用。并指出为了能让形式化验证工具，如符号模型检测工具SMV[McM93]，支持实际的HCIS的设计，应该更多地研究人机交互的任务模型，人机交互的通道和风格等方面的问题。[CMT06]基于SMV,建立了Web应用设计的验证原型工具WAVer。此工作，以系统设计为中心，具体考虑了Web应用系统的人机交互设计验证的机械化问题，但是没有考虑任何用户认知模型。[CE07]基于悲观的用户假设，研究了非专家级用户的行为特征：如用户常常健忘、易犯错、碰到不一致的状态或者行为模式易产生迷惑。采用经典的模型检测器SMV，研究了人机交互群件系统的迭代设计。近年来，新的人机交互风格对这方面的研究工作提出了新的问题。人们对使用模型检测技术形式化验证群件系统性质的兴趣在持续增长[Urn98] [Pap02][BML04][ BGL09]。[HM10]则以用户为中心，在更广泛的范围上，开始尝试形式化刻画使普适计算风格的HCIS更有效的基本属性，例如可跟综性、可视性、可恢复性等，并且初步探讨了随机模型对于普适计算系统的功能、性能和用户体验的建模所能起到的作用。

HCIS评估:

HCIS评估是指测试或验证HCIS的可用性、功能性和可接受性。其目的是评估HCIS功能、性能和用户的体验，确定系统设计缺陷[DJG03]。在传统的HCIS的评估理论和技术研究中，主要关心的是用户和设备。主要评估人机交互设备对于典型的用户行为的支持程度,包括用户的目标，用户获得目标的规划，执行用户行为以及相应的反馈等方面。例如，认知走查（Cognitive Walkthrough）技术[DJG03],启发式评估技术[SPC10],基于认知模型的评估技术[CMN80,83]。[DJG03][SPC10]对HCIS的评估技术做了比较详细的描述。总结下来，基本上，HCIS的评估主要有两种方法：一种是基于测量的；另外一种是基于理论的。前者通过用户在一个具体的原型系统上进行模拟人机交互试验得出测试数据来进行分析，而后者通过构造一个包含感兴趣的特征属性的HCIS抽象模型，该模型应该能以足够的精度描述这些感兴趣的特征属性，然后在此模型上用分析、数值计算或者模拟的方法来分析系统的关键属性的数量上的性质。

HCIS的评估已经成为HCIS设计过程中必不可少的一个环节[DJG03][SPC10]。它往往出现在整个设计生命周期之中，评估结果的反馈用于修改设计，使得能够对前期的分析、设计进行迭代，因此评估是HCIS的迭代设计过程的关键环节。为了最小化早期设计错误的花费，我们在任何实现工作开始之前就应该评估一项设计。

但是，大量的实践表明，在复杂的HCIS的设计过程中，通过现有的一些简单的受控试验的方法，来进行系统的评估是很困难的[Ols07]。例如，对于人机交互群件系统，必须重新审视现有的HCIS评估技术[Pin08]。[Spo07]认为目前用户可用性评估过程存在许多问题，应该做出三个根本性改变：（1）提供客观的观察结果比提出主观的建议更重要；(2)停止简单地执行评估，而应该将评估的技术应用于设计过程中；（3）研究新的评估技术，因为需要新的评估工具。我们拟实现的评估方法是基于理论的方法，是在HCIS实现之前，对系统的预测性评估，与上述的要求是一致的。

基于交互式马尔科夫链模型检验器的HCIS机械化评估模型：

模型检验是一种基于模型的形式验证方法。它最早是由 [CE81,EC82,QS07]分别独立发展起来的，主要用于验证有限状态系统是否满足一些特定的性质。在模型检验中，系统模型通常用有限状态自动机的形式来表达，而与系统相关的性质通常用某种时序逻辑来表示。根据不同时序逻辑的不同表达能力，模型检验可以具有不同的功能。最初的研究主要集中在对系统功能行为特性进行验证，集中于系统质量的质的方面，如最终产生的结果是否正确，系统是否会发生死锁等。用于表达系统功能行为特性的时序逻辑有LTL[Pnu77]、CTL [CE81]等，关于这些逻辑的模型检验算法被大量进行研究并取得了丰富的成果。

随着研究的不断深入和实际的需求，人们开始关注系统性能方面即集中于系统质量特性的量的方面。因此提出了各种数量指标的时序逻辑，如RTCTL[EMS92] 、CSL[ASS00]等。利用这些逻辑，可以对很多系统性能方面的特征进行精确地表达和刻画，如：用CSL可以表达类似这样的性质：系统在24小时内崩溃的概率小于0.01，系统稳定运行在正常情况下的概率大于0.99等。这些反映系统性能数量指标的逻辑通常是在系统的性能模型上进行验证，其中离散时间马尔可夫链（DTMC：Discrete-Time Markov Chain）和连续时间马尔可夫链(CTMC: Continuous Time Markov Chain)是两种最主要的性能模型，基于它们的模型检验算法也已经得到了很多相关的研究[ASS00，BHH03]。由于这些具有性能属性的时序逻辑强大的表达能力，使得基于DTMC、CTMC的模型检验成为了代表目前最先进水平的一类性能评价技术[Her01]。

然而，在以上介绍的取得很大成功的模型检验技术中，所有的系统模型都是基于状态的，即它们都以系统所处的状态具有的性质为检验的基础。相应地，以上所有的刻画逻辑也都是基于状态的。随着系统复杂度和规模的增加，基于状态的系统很容易面临所谓的状态空间爆炸问题，并且由于状态级的描述是一个平面模型，没有层次概念。当系统规模变得越来越大的时候，直接给出系统的状态模型是很困难的。因此，[Wu07]认为这种基于状态的系统模型是不适合分析大规模复杂系统的。为了满足对现代大规模复杂HCIS的性能评价需求，需要有更加适合复杂HCIS性能评估的模型。

[Her98]提出了交互式马尔科夫链（IMCs: Interactive Markov chains）。它作为经典的进程代数模型和连续时间马尔可夫链模型的结合，是完全基于动作的，或者说是面向行为的，从而可以以一种组合层次化的方式来对系统进行建模，大大降低系统的复杂性。[Wu07，Qin06]对IMCs的组合层次化、等价关系谱、动作细化等进行了系统的研究，为基于IMCs的模型检测技术的研究提供了比较深刻的理论基础。我们在早期的工作中[Xu08]，初步研究了并发系统的IMCs模型检测技术，虽然也有案例研究，但是整个研究还停留在理论阶段，而且仅限于系统分析与设计的角度,没有考虑HCIS的设计问题，也就是说研究考虑了软件系统本身，但是没有考虑用户的认知处理，实质上是隐含地假设了用户是理想的用户。因此，本项目需要将上述研究，在HCIS的机械化评估这个应用背景下，重新审核，在理论和应用层面拓宽和加深。例如，基于IMCs的模型检测算法及其优化问题，HCIS特性的形式化刻画等。