用户界面的今天和明天

北京大学计算机科学系 董士海
本期专题:人机交互技术
人机交互也称用户界面,是计算机系统的重要组成部分。80年代,以WIMP为基础的图形用
户界面极大地改善了计算机的可用性、可学性和有效性,迅速地代替了以命令行为代表的字
符界面,成为当今计算机用户界面的主流。面对数量急剧增长的计算机用户,面对多媒体技术
、可视化技术及虚拟现实技术的飞速发展,用户界面将怎样发展?新一代的用户界面是什么?
本期专题从不同的侧面论述了用户界面的今天与明天,并阐明:以用户为中心,增进人机交互
的自然性,提高人机交互的效率和带宽是用户界面的研究方向。

1.用户界面的今天和明天

2.用户界面模型及其描述的研究与进展

3.虚拟现实的人机交互技术

4.多通道用户界面模型与技术

5.人机界面评估方法研究

6.图视编程语言实用化的关键技术

7.三维人机交互技术
本期专题责任编辑 郭平

一、引言
计算机用户界面是指计算机与其使用者之间的对话接口,是计算机系统的重要组成部分
。计算机的发展史不仅是计算机本身处理速度和存储容量飞速提高的历史,而且是计算用户
界面不断改进的历史。早期的计算机是通过面板上的指示灯来显示二进制数据和指令,人们
则通过面板上的开关、扳键及穿孔纸带送入各种数据和命令。50年代中、后期,由于采用了
作业控制语言(JCL)及控制台打字机等,使计算机可以批处理多个计算任务,从而代替了原来
笨拙的手工扳键方式,提高了计算机的使用效率。
1963年,美国麻省理工学院在709/7090计算机上成功地开发出第一个分时系统CTSS,该系
统连接了多个分时终端,并最早使用了文本编辑程序。从此,以命令行形式对话的多用户分时
终端成为70年代乃至80年代用户界面的主流。
80年代初,由美国Xerox公司Alto计算机首先使用的Smalltalk-80程序设计开发环境,以
及后来的Lisa、Macintosh等计算机,将用户界面推向图形用户界面的新阶段。随之而来的用
户界面管理系统和智能界面的研究均推动了用户界面的发展。用户界面已经从过去的人去适
应笨拙的计算机,发展到今天的计算机不断地适应人的需求。
用户界面的重要性在于它极大地影响了最终用户的使用,影响了计算机的推广应用,甚至
影响了人们的工作和生活。由于开发用户界面的工作量极大,加上不同用户对界面的要求也
不尽相同,因此,用户界面已成为计算机软件研制中最困难的部分之一。当前,Internet的发
展异常迅猛,虚拟现实、科学计算可视化及多媒体技术等对用户界面提出了更高的要求。面
临新的挑战,用户界面将如何发展?

二、用户界面的今天:图形用户界面
图形用户界面(GUI)的广泛流行是当今计算机技术的重大成就之一,它极大地方便了非专
业用户的使用,人们不再需要死记硬背大量的命令,而可以通过窗口、菜单方便地进行操作。
"Visual"已成为当前最流行的形容词,如Visual Basic、Visual C++及 Visual FoxPro等。
为什么图形用户界面受到如此青睐?它的主要特征是什么?

1.GUI的主要特征
(1)WIMP
其中:
·W(Windows)指窗口,是用户或系统的一个工作区域。一个屏幕上可以有多个窗口。
·I(Icons)指图符,系形象化的图形标志,易于人们隐喻和理解。
·M(Menu)指菜单,可供用户选择的功能提示。
·P(Pointing Devices)指鼠标器等,便于用户直接对屏幕对象进行操作。
(2)用户模型
GUI采用了不少Desktop桌面办公的隐喻,使应用者共享一个直观的界面框架。由于人们
熟悉办公桌的情况,因而对计算机显示的图符的含义容易理解,诸如:文件夹、收件箱、画笔
、工作簿、钥匙及时钟等。
(3)直接操作
过去的界面不仅需要记忆大量命令,而且需要指定操作对象的位置,如行号、空格数、X
及Y的坐标等。采用GUI后,用户可直接对屏幕上的对象进行操作,如拖动、删除、插入以至放
大和旋转等。用户执行操作后,屏幕能立即给出反馈信息或结果,因而称为"所见即所得"(Wh
at You See Is What You Get)。用视、点(鼠标)代替了记、击(键盘),给用户带来了方便。

2.GUI的发展方向
当前,以Windows为代表的GUI已有了很大的发展,但还存在着操作较麻烦、响应较慢、对
资源要求较高及剩余的工作区域较小等不足,这些还需进一步改进。今后的发展趋势主要有
以下几方面:
(1)与超文本技术结合,支持Internet浏览
采用超文本(Hypertext)技术,便于用户"联想"搜索有关内容。Navigate、Mosaic、Yah
oo及Hotjava等许多浏览器的出现,极大地方便了Internet的使用。GUI与超文本技术相结合
将进一步丰富用户界面的功能。Microsoft公司已宣布,Windows95(曾称Chicago)升级的新版
本(曾称Nashville)将增加网上浏览功能。
(2)支持三维及多媒体技术
人们的生活空间是三维的,而屏幕却是二维的。虽然GUI已提供了一些仿三维的按钮等界
面元素,但界面仍难进行三维操作。要解决三维的问题,还需从三维交互设备着手。语音、图
像和动画等多媒体的支持,也是当今的趋向。
(3)应用对象的可视化
目前,GUI支持的是与应用无关的通用界面元素,如菜单、对话框等。对于应用来说,使处
理的数据易于操作并直观显示是十分重要的问题。当前科学计算可视化、信息可视化和商业
数据可视化已引起广泛重视,各种数据可以用直观形式显示,并可进行一、二、三维的操作,
这将大大方便用户。
(4)界面构造工具及语言
开发GUI的工作量及难度十分可观,普通用户已很难自行开发,必须依靠熟练的程序员或
方便的工具。现在已有一些GUI开发工具,如Visual Basic、Visual C++、X Window MotifW
idget、Power Builder及Visual FoxPro等。但这些开发工具要为广大用户所掌握或要适应
不同的应用,还有待于改进。
面向最终用户的语言也是一个重要的趋向。现在已有一些电子表格、数据库查询语言或
超文本制作语言(如Hypertalk、OpenScript)类似自然语言风格,但其中有的不支持汉字,有
的则适应性差。

三、用户界面的明天:GUI+新人机交互技术
图形用户界面会被新的界面淘汰吗? 新一代的用户界面将是什么样?这些是很多人感兴
趣的问题。
美国Brown大学原计算机系主任、著名的计算机图形学家A.Van Dam曾在SIGGRAPH'95上
称,"虽然各种三维图形的应用发展得很快,如虚拟现实、科学计算可视化等,但GUI、3D Wid
get等都将长期存在"。这是因为目前大量的应用已经采用成熟的GUI技术,因此,GUI不会被淘
汰。随着虚拟现实、科学计算可视化及多媒体技术的飞速发展,新的人机交互技术不断出现
,更加自然的交互方式将逐渐为人们所重视。
目前,美国正在进行研究的有关人机交互技术的项目主要有:MIT媒体实验室的多通道自
然对话项目,CMU交互系统实验室(ISL)的INTERACT项目,海军的Intelligent M4系统。在欧洲
信息技术研究战略规划(ESPRIT Ⅱ)的Amodeus项目中,有大量关于多通道人机交互的理论和
系统研究。在ESPRIT Ⅲ中,正在进行MIAMI(Multimodal Integration for Advanced Mult
imedia Interfaces)项目的研究,其领域包括多媒体和高级多通道人机界面两部分,语言内容
是通过视觉、听觉、触觉和手势来访问、表示和产生多媒体信息的多通道交互的各个方面。
还有法国IMAG的Coutaz和Nigay设计的系统MATIS(Multimodal Airline Travel Informatio
n System) 中,用户可以利用键盘、鼠标、话筒或者它们的组合方式查询航班信息,体现了多
通道用户界面人机交互的自然性和高效性。语音、自然语言、手势、视线跟踪及头部跟踪等
各种形式的输入技术正在研究中,沉浸式的头盔显示器已经开始使用,新的立体显示设备也正
在研制。 在GUI基础上,新的人机交互技术已逐渐开始应用。
新一代界面的主要特征可描述如下:
(1)以用户为中心
以用户对界面的需求变化为出发点,使用户界面的外在形式和内部机制能符合不同用户
的需要,这就是以用户为中心的设计思想。非特定人的连续语音识别技术将使计算机能理解
人们的要求,是一种重要的输入界面和手段。鱼眼(Fisheye)技术使屏幕观察(或光标)位置附
近的内容被放大,便于用户观察。在传统的人机系统中,人被认为是操作者,人去适应机器;在
一般的人机系统中,人被称为用户,能与机器对话,但无主动控制能力;而在虚拟现实系统中,
人才是主动的参与者,机器将对人的各种动作做出反应。
(2)多通道(Multimodality)
多通道界面旨在充分利用一个以上的感觉和运动通道的互补特性来捕捉用户的意向,从
而增进人机交互中的自然性。人的感觉通道有视觉、听觉、触觉、嗅觉和平衡等;人的运动
通道有手、嘴、眼、头、足及身体等。现在,计算机操作时,人的眼和手十分累,效率也不高
。若将听、说和手、眼等协同动作,采用多通道、以自然方式交互,可以实现高效人机通信,
也可以由人或机器选择最佳反应通道,从而不会使某一通道负担过重。
(3)非精确
精确交互技术是指能用一种技术来完全说明用户交互目的的交互方式,键盘和鼠标器均
需用户精确输入。而人们的动作或思想往往并不很精确,计算机应该理解人的要求,甚至于纠
正人的错误,智能化的界面是一个重要方向。
(4)高带宽
现在计算机输出的内容已经可以快速、连续地显示彩色图像,其信息量非常大。而人们
的输入却还是使用键盘一个又一个地敲击,因而,计算机的输入带宽是很低的。新一代的用户
界面应该支持高的输入带宽,快速大批量地输入信息。语音、图像及姿势等的输入和理解是
今后的发展方向。
(5)不限制地点
目前,计算机主要是在办公室、实验室或家庭中使用,人们面对着计算机屏幕进行操作,
这种操作方式限制了计算机的应用。虽然已可用遥控器代替部分动作,但用望远镜看屏幕似
不方便,而采用语音输入输出或其它计算机视觉(摄像输入)技术,则可不受地点的限制。
(6)图示编程
图形用户界面的编程是很费时的工作,而采用图示编程(Visual Programming)则比较简
单和直观。现在有些多媒体制作工具,如Authorware Professional、Icon Author等,采用图
示方法设计多媒体文档脚本,以便于交互修改、控制时间关系。新一代的用户界面应尽可能
提供图示化的开发工具。

四、结语
北京大学计算机系图形研究室在窗口系统的开发和汉化、用户界面生成工具和超文本制
作工具的研制等方面做了一些工作。近来,我们与杭州大学工业心理学国家重点实验室、中
国科学院软件研究所共同承担了国家自然科学基金重点项目"多通道用户界面的研究"。与D
esktop隐喻相仿,我们提出了三维VIR(Virtual Information Room)隐喻,采用基于智能体(A
gent-Based)的方法,探索了多通道界面的软件结构,并使用三维鼠标器、汉字手写体识别工
具及语音输入软件等,研究了多通道界面的关键问题,即输入原语和通道综合,并正在开发多
通道界面原型。针对Internet的飞速发展,目前正在研究虚拟现实建模语言(VRML)及基于PC
的桌面虚拟现实开发平台。
图形用户界面是当前计算机界面的主流,它仍需不断丰富和改进,如:增强超文本机制以
支持Internet的浏览,增强三维和多媒体功能,支持应用数据的可视化,开发更好的界面构造
工具与语言。新一代的用户界面将在图形用户界面的基础上,采用新的更加自然的人机交互
技术,如语音、自然语言、手势、视线跟踪及头部跟踪等,以用户为中心,实现多通道、非精
确、高带宽、高效及不限制地点的人机通信。

                                                                                               

（计算机世界报 1997年 第23期）