清华大学计算机系人机交互,CCAI 2019｜史元春：人机交互，要从精准走向模糊

2019年中国人工智能大会(Chinese Congress on Artificial Intelligence 2019，简称“CCAI 2019”)将于在9月21日-22日在青岛胶州召开。

清华大学史元春教授是大会人工智能伦理与安全论坛共同主席。

史元春是教育部“长江学者”，国内外知名的人机交互与普适计算学者，目前是清华大学计算机系教授、清华大学人工智能研究院智能人机交互研究中心主任、普适计算教育部重点实验室主任、清华大学全球创新学院GIX院长。她同时也是IEEE会士。

今天已经进入普适计算时代

人机交互是史元春的主要研究领域之一。在史元春看来，人机交互的本质是在人与机器之间进行信息交换的技术，这是一项引领性的技术。人机交互的目标，是让计算机更“懂你”，让用户更加自如。

从交互接口设备的角度来看，从计算机出现到现在，人机交互的模式已经发生了显著变化。早期的交互接口设备以键盘和鼠标为代表，大多是随计算机一起固定地“躺”在机房和实验室，而如今，我们日常熟悉的智能手机、平板电脑以及智能手表、手环等移动和可穿戴设备已经成为人机交互的主要渠道，此外，嵌入式的接口设备也正越来越多地走入人们的生活，推动了智能家居等典型应用场景的发展。

史元春说，今天我们已经进入了普适计算的时代，随着更多移动和嵌入式设备的出现，人们会通过更丰富、更频繁和更自然的方式，与计算机发生关系。

当前我们所熟悉的人机交互都是非常规范的，它基于严谨的结构和抽象的概念，交互结果的准确与否需要依赖用户准确地表达意图，从而限制了交互的舒适性和效率，而且会带来一定的学习甚至是记忆负荷。而所谓的“更自然”，是指用户只需像与他人沟通时一样，依靠直观、模糊的表达和传达信息的方式，就可以与计算机实现交互。

史元春表示，人工智能技术的深度应用，能做到从模糊的交互行为信号中准确解读出用户的交互意图，显著提升交互的自然性，从而将为未来人机共生提供可靠的技术基础。

史元春团队在人机交互创新技术应用方面的成果

那么如何实现从交互意图的准确表达到模糊表达的跨越呢？

史元春提出，这其中有一些技术挑战需要克服。比如，用户的交互意图是内在的，通过外部传感器获取的交互信号数据具有很大的随机性和噪声，应用场景也往往各不相同。这些问题都需要在研究中去克服。此外，人机交互除了各种直接的、离用户习惯很近的接口，还包括了交互方式和过程的优化。

史元春介绍过自己团队在这方面的相关研究成果，与我们的日常生活息息相关。

一是对胖手指(fat finger)问题的改进。何为“胖手指”？我们都有这样的体验：在使用触屏手机进行文本输入时，打字速度比在电脑上慢得多。因为手机键盘的尺寸比物理键盘要小得多，而且没有了按键的触觉反馈，因而相对尺寸较大的手指在手机键盘上很难持续性地精准点击目标按键。

史元春团队基于触屏电容图像信号提出了落点位置的精准识别方法、并结合了扩展的贝叶斯意图推理方法和语言模型，实现了输入速度和准确率的显著提升。史元春团队还基于这一技术开发了智能手表上的全键盘，用户几乎不需要视觉瞄准就可进行准确的文本输入，且输入速度接近智能手机，在一定程度上改善了胖手指问题。

二是利用同样的原理，史元春团队利用多特征图像处理算法上的创新，在智能手机防误触方面实现了较大的进步。这一算法已集成在华为2017年发布的mate 10手机(及以后型号)中，以每秒120次的速度运行，大大降低了手机屏幕的误触率，能允许用户按照自然舒适的方式持握和操作手机，而不必担心手掌和手指在屏幕上产生误触。

三是面向以视障用户为代表的无障碍交互需求，史元春团队面向数十名视障用户开展了持续一年多的跟踪研究，基于对手机触屏电容图像信号的智能处理算法，实现了用耳朵代替手指操作触屏的“耳势交互”技术，从而使得视障用户单手操作手机成为可能，同时大大提升了交互操作的效率和舒适性。此外，史元春团队还对视障用户在手机上独特的文本输入行为建模，提出了针对视障用户的智能键盘，可以在落点位置不准确的情况下也准确猜测出目标单词，显著提升了他们在智能手机上的文本输入速度。

四是面向虚拟现实和增强现实中的交互任务，史元春团队提出了无需视觉注意力的虚拟目标获取方法，用户不需要用视觉瞄准，而仅凭对空间位置的自体感受和使用物体的持握手势经验，即可快速选择虚拟目标。这一方法可以避免用户从冗长的列表中进行选择，或者因选择目标而分散注意力，可以显著提升用户在虚拟现实和增强现实中交互的效率。

五是面向智能空间中的智能嵌入式设备，史元春团队提出了基于信号同步行为的设备配对技术。用户可以按照固定的节奏点击鼠标、拍手等，智能识别算法基于RFID等信号的强弱变化即可识别用户希望交互的目标设备。从而在充满可交互设备的智能空间中，可以节约指定交互目标这一步骤的时间成本，大大提升交互的灵活性。