人机交互复习

💡💡💡 完整背诵
💡💡背关键词

第1章 绪论

考点：
1、掌握人机交互技术基本概念、研究内容及发展趋势

人机交互的概念

💡💡💡人机交互：关于设计、评价和实现供人们使用的交互式计算机系统，且围绕相关的主要现象进行研究的学科。狭义上说，人机交互技术主要研究人与计算机之间的信息交换，主要包括人到计算机和计算机到人的信息交换2部分。

💡💡人机交互是一门综合学科，它与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关。其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术、虚拟现实技术与人机交互是相互交叉和渗透的。

人机交互的研究内容💡💡💡

• 人机交互界面表示模型与设计方法
• 可用性分析与评估
• 多通道交互技术
• 认知与智能用户界面
• 群件
• Web设计
• 移动界面设计

人机交互的发展历史

💡💡命令行界面交互——图形用户界面交互——自然和谐的人机交互

💡💡💡虚拟现实（VR）：以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度相似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、互相影响，可以产生亲临对应真实环境的感受和体验。

💡💡💡 应用：

• 在影视娱乐中，让体验者沉浸在影片所创造的虚拟环境之中。
• 在游戏领域，3D游戏使得游戏在保持实时性和交互性的同时，也大幅提升了游戏的真实感。
• 在教育中，利用VR技术可以帮助学生打造生动、逼真的学习环境。
• 在军事方面，用VR技术进行军事模拟，帮助军事演习。

人机交互的发展趋势 💡💡💡

自然化、和谐化、高科技化、人性化。

第2章 感知和认知基础

人的感知

• 视觉：用的最多的人机界面；接收信息+解释信息。
• 听觉：对声音的解释——>语音界面。
• 触觉：非局部性。
  • 温度感受器、伤害感受器、机械刺激感受器
• 力觉：皮肤深层的肌肉、关节运动感受到的方向感、力量感。
• 内部感觉：反映机体内部状态、内部变化的感觉。
  • 体位感觉、深度感觉、内脏感觉。

知觉的特性：选择性、理解性、整体性、恒常性。

认知过程与交互设计原则

认知：经验认知、思维认知。

常见认知过程：
感知和识别、注意、记忆、问题解决、语言处理。

影响认知的因素：情感、个性差异、动机和兴趣。

概念模型：设计模型、系统映像、用户模型。

用户如何理解系统概念模型：思维模型、信息处理模型、外部认知模型。

第3章 交互设备

考点：
2、主要人机交互设备及其主要原理

输入设备

• 文本输入：
  • 键盘、手写板（电阻式、电磁式、电容式）
• 图像输入：
  • 二维扫描仪：光学系统、步进电机；扫描速度、分辨率。
  • 数字摄像头
• 三维信息输入：
  • 三维扫描仪：接触式（三维坐标测量机）、非接触式（三维激光扫描仪、照相式三维扫描仪、结构光三维扫描仪）
  • 动作捕捉设备：机械式、电磁式、光学式。
• 体感输入设备
• 指点输入设备：鼠标、光笔、触摸杆、触摸屏。

输出设备

• 光栅显示器：
  • 阴极射线管显示器、液晶显示器、等离子显示器
• 投影仪
• 打印机：针式、喷墨、激光打印机
• 3D打印机
• 语音交互设备：耳机、麦克风、声卡。

虚拟现实交互设备

• 三维空间定位设备
  • 三维空间跟踪定位器、数据手套、三维鼠标、触觉和力反馈器。
• 三维显示设备
  • 立体视觉技术
  • 头盔式显示器
  • 洞穴式显示环境cave
  • 真三维显示

第4章 交互技术

人机交互输入模式💡💡💡

• 请求模式
  输入设备的启动是在应用程序中设置的。应用程序执行过程中需要输入数据时，暂停程序的执行，直到从输入设备接受到请求的输入数据后，才继续执行程序。
• 采样模式
  输入设备和应用程序独立地工作。输入设备连续不断地把信息输入进来，信息的输入和应用程序中的输入命令无关。应用程序在处理其它数据的同时，输入设备也在工作，新的输入数据替换以前的输入数据。当应用程序遇到取样命令时，读取当前保存的输入设备数据。
• 事件模式
  输入设备和程序并行工作。输入设备把数据保存到一个输入队列，也称为事件队列，所有的输入数据都保存起来，不会遗失。应用程序随时可以检查这个事件队列，处理队列中的事件，或删除队列中的事件。

基本交互技术

定位：确定平面或空间一个点的坐标。

• 直接定位、间接定位。

笔划：输入一组顺序的坐标点。
定值：设置物体旋转角度、缩放比例因子。
选择：

• 单个元素选择：在某个选择集中选出一个元素。
• 区域选择：选出一组元素或者一个区域。选框、套索、快速选择（快速选择算法）、懒惰选择。

字符串输入

二维图形交互技术

• 几何约束：对图形的方向、对齐方式等进行规定和校准。
• 引力场：定位约束，当光标中心落在这个区域内时，就自动地被直线上最近的一个点所代替，就好像一个质点进入了直线周围的引力场，被吸引到这条直线上去一样。
• 拖动：把一个对象移动到一个新的位置。
• 橡皮筋技术：被拖动对象的形状和位置随着光标位置的不同而变化
• 操作柄技术：可以用来对图形对象进行缩放、旋转、错切等几何变换。先选择要处理的图形对象，该图形对象的周围会出现操作柄，移动或旋转操作柄就可以实现相应的变换。

三维图形交互技术

直接操作
三维Widgets
三视图输入

自然交互技术

多点触控技术：

• 同时检测多个触点。
• 运用多个手指同时操作实现基于手势的交互，让多个用户同时操作实现基于协同手势的交互。
• 多点触控软件技术：
  • 触点检测和定位
  • 手指触点跟踪
  • 触摸手势识别

手势识别技术：

• 手势：控制手势、对话手势、操作手势、通信手势。
• 手势识别分类（按照输入设备）：数据手套、摄像机。
• 步骤：手势分割、手势识别。

表情识别技术：

• 步骤：人脸图像的获取与预处理、表情特征提取和表情分类。
• 灰度特征、运动特征、频率特征。
• 特征识别方法：整体识别法、形变提取法、几何特征法。

语音交互技术：

• 语音识别系统：语音特征提取，声学模型与模式匹配，语言模型与语义理解。

眼动跟踪技术：

• 视线跟踪基本原理：通过连续的记录从人的眼角膜和瞳孔反射的红外线，然后利用图像处理技术，得到眼球的完整图像；再经软件处理后获得视线变化的数据，达到视线跟踪的目的。
• 眼动测量方法：瞳孔－角膜反射向量法、眼电图法、虹膜－巩膜边缘法、角膜反射法、双普金野象法、接触镜法。

笔交互技术（手写识别技术）：

• 联机手写文字识别过程：预处理、特征抽取、特征匹配、判别分析。💡💡
• 脱机手写识别得到的描述是点阵图像，要得到笔段的点阵通常需要细化运算。

第5章 界面设计

考点：
5、掌握图形用户界面的基本原则

界面设计原则

人机界面的更新：命令行界面、图形界面、多通道用户界面 。
图形用户界面的主要思想：桌面隐喻、所见即所得、直接操纵。💡💡
图形用户界面设计的一般原则：💡💡💡

• 界面要具有一致性
• 常用操作要有快捷方式
• 提供必要的错误处理功能
• 提供信息反馈
• 允许操作可逆
• 设计良好的联机帮助
• 合理划分并高效地使用显示屏幕

理解用户

• 衡量一个以用户为中心的设计的好坏，关键点是强调产品的最终使用者与产品之间的交互质量，它包括三方面特性：产品在特定使用环境下为特定用户用于特定用途时所具有的有效性、效率和用户主观满意度。
• 用户体验（User Experience，UX）：用户在使用产品或系统时的全面体验和满意度。
• 用户体验包括4元素：品牌、使用性、功能性、内容。
• 用户分类：偶然型用户、生疏型用户、熟练型用户、专家型用户。
• 用户交互分析包括：产品策略分析、用户分析、用户交互特性分析。

设计流程

用户的观察和分析、设计、实施。

任务分析

描述用户行为的工具：通用标识语言UML，包括组合结构图、用例图、类图、序列图、对象图、协作图、状态图、活动图、组件图和部署图。

• 使用行为分析：用例图。
• 顺序分析：顺序图。
• 协作关系分析：协作图，着重显示了某个用户行为中各个系统元素之间的关系。
• 工序约束关系：工序约束陈述。
• 用户任务一览表。
• 任务金字塔：不同层次的任务之间的关系。
• 故事讲述和情节分析。

以用户为中心的界面设计

以用户为中心设计的四个重要原则：
及早以用户为中心、综合设计、及早并持续性地进行测试、反复式设计。

OVID中涉及到三个模型：设计者模型、编程者模型、用户概念模型。

第6章 人机交互界面表示模型与实现

考点：
3、行为模型、结构模型的主要研究内容及其特点，掌握模型的相互转换
4、能够根据案例分析某软件结构的行为模型或结构模型
7、掌握几种基本的软件体系结构
8、熟悉LOTOS的几种关系及其语法

人机交互界面表示模型

行为模型

主要从用户和任务的角度考虑如何来描述人机交互界面。

GOMS模型：

• 通过目标 (Goal)、操作 (Operator)、方法 (Method) 以及选择规则 (Selection) 四个元素来描述用户的行为。
• 它采用“分而治之”的思想，将一个任务进行多层次的细化。

LOTOS模型：

• 时序关系说明语言。
• 基本思想：系统的外部可见行为可以看作是由一个有时序关系的交互序列组成，用进程之间的约束关系来描述交互子任务之间的关系。
• LOTOS算符💡💡💡
  

LOTOS与GOMS的结合：

• 用GOMS模型描述任务的分解过程，而用LOTOS给出子任务之间的约束关系，这样就可以增加两种表示模型的表示能力。
• 实例
  
  

UAN模型：

• 用户行为标注user action notion。
• 简单的符号语言，主要描述用户的行为序列以及在执行任务时所用的界面物理对象。
• 兼有行为模型和结构模型的一些特点。
• 采用表格结构来表示任务：
  
• 界面被分解成一些类似层次结构的异步任务，每个任务的实现都用表格来描述，用户动作的关联性和时序关系由表格的行列对齐关系和从上到下、从左到右的阅读顺序来确定。

G-U-L模型：
G-U-L运用GOMS原理为基础进行任务分解，建立基本的行为模型，原子操作由UAN模型描述，在此基础上，运用LOTOS算符来表示任务目标之间的时序关系。

结构模型

主要从系统的角度来表示人机交互界面。

产生式规则（上下文无关文法）

• 将人机交互对话看作是一种语言，运用基于语法的方法来描述交互对话。形式化语言。
• 所有的规则均有效，系统不断用它来检测用户的输入是否与这些条件相匹配。
  若匹配则激活相应的动作，这些动作可以是执行应用程序的一个过程，也可以是直接改变某些系统状态的值。规则定义的顺序并不重要，只要与规则中的条件相匹配，就可以激活相应的动作。产生式规则系统可以是事件引导的，也可以是状态引导的，或者两者都有。

状态转换网络

• 基本思想：定义一个具有一定数量状态的转换机，称之为有限状态机FSM。FSM从外部世界中接收到事件，从一个状态转换到另一个状态。
• 状态转换网络
• 扩展状态转换网络
• 带条件的状态转换：
  

行为模型和结构模型的转换

（从行为模型转换为结构模型）
基本思想：

• 采用G-U-L以层次化结构对任务进行建模，状态转换网络表示的是状态之间的转换，也采用层次化表示。G-U-L中的每个目标都对应一个状态转换网络。子目标的状态网络应该嵌套在上层目标对应的状态网络中。
• 状态转换网络中，有2类事件起作用：一是外部由用户激活的事件，如“按下鼠标” 事件、“点击键盘” 事件等；二是内部由目标产生的内部事件，只有目标正常结束时产生的事件。
• 在进行转换时，这些事件只是形式上的定义，没有具体的实现过程，如要在某一层出现的第i个外部事件用“外部事件i”来代替，而由某个目标Ti执行时产生的内部事件也仅仅用类似于“Ti正常结束事件”来表示，
• 具体的事件，系统实现时通过专门的事件管理器来定义和管理。
• G-U-L中的行为在转换后就成为状态转换网络中的一个行为。

基本步骤：

• 读取存储G-U-L模型的数据文件，进行解析，定义一个数组stn用于存储状态网络中的弧。获取G-U-L模型中的最高目标，设为G0，然后调用Translate函数，在Translate执行完毕后，stn中便存储了转换后的状态网络的数据。
• Translate函数：对当前目标进行处理，如果是原子目标，参考原子目标的UAN模型，创建其状态转换网络。否则，获得目标层次下的数据，包括行为、关系算符及子目标名。通过关系符号来调用相应的关系转换函数，对所有的子目标进行递归调用。
• 定义了G-U-L的各种关系向状态网络转换的具体的实现函数，实际上是生成状态网络中的弧，并进行存储。在各状态网络中都会有一个初始状态S。在每个处理函数中，需要考虑目标具有循环属性的情况，这在状态转换网络中的体现是某个状态通过一个事件激活以后能仍然返回到该状态。如果要转换到其他状态，还需要一个外部事件的作用。如对*G。
  

G-U-L中各种约束关系对应的状态转换网络：
选择关系：

交替关系：

禁止关系：

界面描述语言

命令式语言（如何执行任务）、陈述式语言（任务是做什么）。
陈述式语言包括：用户界面标记语言(UIML)、扩展界面标记语言(XIML)、XML用户界面语言XUL 。

窗口系统

MVC模式和基于Struts的实现：💡💡
MVC把一个应用的输入、处理、输出流程按照模型 (model)、视图（View）和控制（Controller）的方式进行分离，形成模型层、视图层、控制层三个层次。
Struts的体系结构实现了MVC模式的概念，它将这些概念映射到web应用程序的组件和概念中。

第7章 Web界面设计

考点：
6、掌握移动互联网界面设计的基本原则及其特点

Web界面设计原则💡💡💡

• 以用户为中心
• 一致性
• 简洁与明确
• 体现特色
• 兼顾不同的浏览器
• 明确的导航设计

Web界面设计技术

• HTML
• JavaScript
• 服务器端脚本语言：ASP、PHP、JSP。
• AJAX：异步JavaScript和XML，创建交互式Web界面应用的开发技术。
• WebGL技术：
  • 在Web技术的基础上实现在网页上绘制和渲染复杂的三维立体图形且用户可以与之交互的技术。其基本目标是建立网页上的3D复杂图形。
  • WebGL页面包含三种语言：HTML5、JavaScript和GLSL ES。通常GLSL ES是（以字符串的形式）在JavaScript中编写的，实际上WebGL程序也只需要用到HTML文件和JavaScript文件。

第8章 移动界面设计

考点：
6、掌握移动互联网界面设计的基本原则及其特点

移动设备及交互方式

常见的移动终端设备：智能手机、PDA。
移动互联网数据接入方式：无线局域网、无线城域网、无线个域网、高速无线广域网、卫星通讯。

移动界面设计原则💡💡💡

• 简单直观
• 个性化设计
• 易于检索
• 界面风格一致
• 避免不必要的文本输入
• 根据用户的要求使服务个性化
• 最大限度地避免用户出错
• 文本信息应当本地化

第9章 可用性与用户体验评价

考点：
9、什么是可用性及其可用性的基本原则

可用性与可用性工程

可用性：特定的用户在特定环境下使用产品并达到特定目标的效力、效率和满意程度。💡💡💡
从5个方面理解可用性：有效性、效率、吸引力、容错能力、易于学习。

支持可用性的设计原则💡💡💡

可学习性、灵活性、鲁棒性。

可用性评估

可用性评估方法：

• 诊查式方法：用户模型法、启发式评估、认知性遍历。
• 测试式方法：用户测试、问卷调查、放声思考法、访谈法。