学习心得——The Wiley Handbook of Human Computer Interaction,Multisurface Environments

前言

根据Multisurface Environments的翻译内容,进行的一些拓展和想法。

“环境设计”的“连续性”中提及的无界鼠标,是指在连续的物理空间允许跨显示器进行交互,用户可以连续地向任何目标显示器的方向移动鼠标指针。针对微软的无界鼠标进行了一些拓展:

“无界鼠标”是由Truong Do开发的微软项目。这是微软员工为了在晚上和周末工作或娱乐而建的辅助项目。“无界鼠标”是专为在同一房间内使用多台计算机的人而设计的。它允许您从单个鼠标和键盘控制多达四台计算机。用户可以用一个鼠标在不同电脑上完成复制、粘贴、拖拽等操作,感觉就像在用同一台电脑一样。除了支持文件操作之外,“无界鼠标”还可以让用户通过该软件在一台电脑上登录到所有其他相连接的电脑上。当然,这一切的条件前提是你的电脑都是处于同一局域网下。

无界鼠标 (Mouse without Borders)控制界面的功能翻译:

machine Setup:机器安装

disable easy mouse:选择后当前机器的鼠标无法向其他机器自由移动

share chipboard:共享剪切板

Hide logo form Logon Screen:隐藏标志形式登录屏幕

Hide mouse at Screen edge:将鼠标隐藏在屏幕边缘

Draw mouse cursor:绘制鼠标光标

Validate remote machine IP Address:验证远程机器ip地址

same subnet only:只有同一个子网

disable CAD:禁止 (ctrl+alt+del)功能

block screen saver on other machines:当鼠标移动到目标机器后,禁止目标机器的屏幕保护程序

move mouse relativly:相对地移动鼠标

block mouse at screen corners:在屏幕角阻挡鼠标

use key mappings:使用金钥映射

show clipboard/network status message:显示剪贴板/网络状态消息

Send error log:发送错误日志

 

快捷键设置部分:

switch between machines:设置快速切换控制机器快捷键

show settings form:显示或隐藏设置界面

lock the controlled machine:锁定当前控制的机器

reconnect to other machines:重新连接

Custom screen capture:自定义屏幕捕捉

exit the application:退出当前应用

switch to all pc mode:切换到所有PC控制方式(这种方式下鼠标或键盘的操作在所有联通的机器中都有效)

Easy mouse:轻松鼠标

Toggle easy mouse:切换简单鼠标

 

Mouse without Borders有以下主要功能:

1. Windows平台下多机器间共享一套鼠标和键盘,可提高使用KVM的效率

2. 容易从一台机器复制和黏贴文本或图像到其它所有机器

3. 能够在机器间拖拽文件

4. 能够对其它机器截屏

5. 能够切换成同步控制所有机器

6. 可定制Windows7的登录屏幕

7. 完全对等模式,所有电脑间都是对等的,可以拿起任意一台电脑连接的鼠标和键盘操作其它电脑

下载链接:

https://www.microsoft.com/en-us/download/details.aspx?id=35460

参考视频:

https://v.youku.com/v_show/id_XMzAzMTAyNTE2.html

 

“物理交互”中提到物理对象作为一种中介:在多面显示器环境中,物理对象既作为一种媒介,又作为一种传输手段。触控板Sensel Morph不是像智能手机屏幕那样的电容性触摸设备,并不要求人必须去触摸。

它看上去就像一个普通的触控板,但里面集成了2万个传感元件,每个触控感应点的间距仅有1.25mm,上面的感应点都是用机械手一个个贴上去。

用户可以在Sensel Morph上面使用画笔或铅笔,而在这些工具使用的过程中,这款数字产品仍然能感受到所有的细微差别,还能测量出这种触摸的力度,还有方向。

这些其实不是重点,重点是从某种意义上Sensel Morph是一个可以自定义的输入设备,将人机交互体验推向了下一个高度。Sensel Morph具有三个通过此题链接起来的组成部分:键盘、MPC风格的MIDI控制器以及钢琴/鼓垫。借助于蓝牙技术,用户可以将它与计算机、平板电脑或只能手机连接起来。

 

译文中提到:“空间心理学是一门研究人们的私人空间和社会互动的社会学领域,它的定义是基于距离的物理交互范围(Hall, 1968)。空间交互是基于这一领域,更关注影响设备之间空间关系的因素,如位置、方向和运动 (Ballendat et al., 2010)。手势和空间技术的结合产生了一种强大的内容传输机制,因为手势和设备都能在空间上感知环境。”

墙面互动系统的运作原理首先是通过捕捉设备(感应器)对目标影像(如参与者)进行捕捉拍摄,然后又影像分析系统分析,从而产生被捕捉物体的动作,该动作数据结合实时影像互动系统,使参与者与屏幕之间产生紧密结合的互动效果。

互动墙面系统主要由投影机、成像膜、镜面玻璃、图像处理服务器及触控模块组成。投影机在成像膜上以背投的方式投射出大幅画面,与之关联的触控设备则采集人的手指在屏幕上的坐标信息,屏幕前方则布置镜面玻璃。当参与者用手指与屏幕中的视觉元素进行互动时,系统会产生各种反馈效果。参与者还可通过点击界面,进行信息查询、观赏视频、阅览图片、参与游戏等,操作简单。镜面上所产生的图像,让人操作简单,娱乐性和科技感并存。

互动墙面系统的应用一般多运用于两种技术,一种是纳米触控式,一种是红外线触控式。

纳米触控式组成:镜面玻璃、纳米触控膜、投影机、成像膜、图像处理服务器等设备组成,他的运用原理是纳米触控膜的感应原理属于改进型投射式电容原理,将ITO 层由纳米导线层替代,通过高精度的测量算法精确计算信号的变化。将X轴的纳米导线和Y轴的纳米导线按照一定的规律,由数字封装自动化设备将其封装在PET薄膜内,从而构成感应矩阵,每个矩阵单元都是一个接近式传感器,能够感知不同方位的触控动作,这些矩阵单元构成全息触控感应矩阵,由触控感应矩阵将感知信号输入到控制芯片,再由控制芯片消除噪音、将有效触控信号输送给上层驱动软件,从而达到精确定位、触发动作、实现触控的功能。

纳米触控式三大功能是支持单点和多点触控、触控精准、透明、可弯曲、支持曲面投影;通过投影机投影,只支持背投,可做任意尺寸,支持多通道拼接;可更换交互系统中的图文信息,以便更新展示的内容,图片分辨率需要和首次使用的图片分辨率一致其应用方式置于展馆立面,投影机吊挂安装在天花,触控膜粘贴在屏幕前方的透明玻璃上。

红外触控式的设备组成是红外触控框、投影机、投影屏幕、图像处理服务器,其原理是利用X、Y方向上密布的红外线矩阵来检测操作者触摸动作的,一般安装在屏幕上面使用。边框在屏幕四边布置有红外发射管和红外接收管,一一对应成横竖交叉的红外线矩阵。用户在触摸屏幕时,手指就会挡住经过该位置的横竖两条红外线,因而可以判断出触摸点在屏幕上的位置。任何不透光的物体都可以改变触点上的红外线而实现多点触控操作。

红外线触控式的功能是触控框尺寸灵活,和定制成特殊尺寸;支持单点和多点触控、触控精准;

通过投影机投影,可正投可背投,可做任意尺寸,支持多通道拼接;可更换交互系统中的图文信息,以便更新展示的内容,图片分辨率需要和首次使用的图片分辨率一致。一般置于展馆立面,投影机吊挂安装在天花,红外触控框覆盖安装在屏幕的上方。

 

在设备上的手势:MSE中直接在设备上的手势(通常通过触屏输入)是一种用户可以用来选择和传输内容的方法。例如,在Code Space中,用户可以将内容从移动显示切换到墙壁显示或使用移动显示的其他用户。最好的例子就是飞屏互动-甩屏系统。

这个系统是华堂科技开发的,将多点触摸技术和无线甩屏技术相结合,实现多媒体大屏演播点评以及甩屏互动的效果。该系统一改传统会议方式,使会议形式和主讲人(操作者)操作变得更加轻松、方便、灵活。系统可以对各种会议内容文件进行任意的缩放与点评,并与各种大屏幕互动,红外触摸互动甩屏系统,将桌式触摸屏(触摸桌)、立式多媒体触摸屏在没有通讯线缆连接的状态下,游客触摸操作其中一台触摸屏,即可使本机上的图片移动至另一触摸屏上,实现资源共享和多屏联动的演示效果。主讲人(操作者)也可以通过触控平板电脑(苹果、安卓等系统的手机进行操控大屏幕),点评演播文档并将其甩至大屏幕上,使得会议讲演及节目演播效果大大提升。

在本系统中PAD起到与大屏之间进行操作无线甩屏的作用,可以方便的把PAD上的IP视频/图片源快速的甩至大触摸屏上进而再进行相应的触控操作。支持操作者在一定范围内移动控制,一定程度上突破了互动演示时间空间位置固定的束缚,并可以在PAD上对视频源进行圈画、点评、放大、缩小等操作,即可与在触摸大屏上的操作相同,亦可不同。并在甩到大屏上时保证画质进度的实时性。

特点:

(1)可以使一台显示器或者触摸屏的多媒体资料轻松“甩”至另一台多媒体计算机或者大屏幕,实现资源共享和互动,增强演示效果;

(2)两台触摸屏的位置可调动但不影响甩屏效果,因此支持操作者在一定范围内移动控制,一定程度上突破了互动演示时空间位置固定的束缚;

(3)系统兼容性强,可配其它的多媒体人机互动技术产品同时使用,便于实现系统配套和系统升级。

飞屏互动高端方案(隔空甩屏):

隔空甩屏系统是采用先进的计算机视觉技术及光影捕捉技术,随着手指的挥动、在不接触任何物体的情况下,伸手做出手势,根据自己的要求发出一些信号,观众通过手指动作来控制操作屏幕上的图片,可以进行放大、缩小、旋转、拖拽,最后,游客可将壁挂是触摸屏上的图片通过隔空操作控制甩至(拖拽至)触摸桌上。

参考视频:https://www.bilibili.com/video/av44693052/

 

其他相关例子:

桌面互动:传统的触控屏幕一次只能判断一个触控点,若同时有两个以上的点被触碰,就不能做出正确反应,或者说反应混乱了。多重触控的任务可以分解为两个方面的工作,一是同时采集多点信号,二是对每路信号的意义进行判断,也就是所谓的手势识别。

让整张桌子都变成屏幕,智能桌将桌子和平板电脑设计为一体,并且在将实物放在桌子上的时候,桌子就能立刻给出这东西的具体信息,当然桌子的触控操作等交互方式也是不可或缺的,餐桌和办公桌都用得上。

在桌面上实现多人互动触控操作。首先它满足了普通茶几/餐桌具备的所有功能,纯平表面上可随意摆放物品,同时具有防水、防污、耐高温、坚固耐用的特性。其次内置的开放软件平台,界面丰富, 支持WI-FI无线上网,可集成多种行业及娱乐软件,兼备娱乐休闲与商务交流功能,广泛适用于餐厅、KTV、酒吧、高端会所等餐饮场所、休闲娱乐场所,以及商务办公场景。

π互动桌:这是一套派逗科技自主研发的虚拟现实引擎技术和电容触摸屏物体别技术(实物识别)相结合的互动展示系统,是一套集电容触摸屏多点触控+物体识别(实物识别)+虚拟现实+AI 与一体的技术平台。复杂的交互逻辑以直观的方式和酷炫的效果呈现,可广泛应用于展览展示、仿真培训、方案推演、VR创新实验室等领域。

 

地面交互:地面互动投影采用悬挂在顶部的投影设备把影像效果投射到地面,当参访者走至投影区域时,通过系统识别,参访者可以直接使用双脚或动作与投影幕上的虚拟场景进行交互,互动效果就会随着你的脚步产生相应的变幻。地面互动投影系统是集虚拟仿真技术、图像识别技术于一身的互动投影项目,包括水波纹、翻转、碰撞、擦除、避让、跟随等表现形式。观众通过身体动作来与地面的图像进行互动,各种特效影像在脚下绽放,带来一种全新的奇特的体验。

虚拟翻书原理:利用红外感应方式获取参观者的动作,并将该动作传输绐计算机进行处理,计算机内的应用程序则根据所捕捉的信号驱动多媒体动画进行翻书的效果表现。

电子翻书视频:https://www.bilibili.com/video/av46747494?from=search&seid=8090502662773884181

其他视频:https://www.bilibili.com/video/av39738595?from=search&seid=8075587191330930115

 

 

【参考】

[1] http://blog.sina.com.cn/s/blog_14b64c97c0102xtky.html 

[2] http://www.ugainian.com/news/n-4559.html

[3] https://www.1diandian.net/chahua/24380.html

[4] https://baike.baidu.com/item/%E5%A2%99%E9%9D%A2%E4%BA%92%E5%8A%A8%E6%8A%95%E5%BD%B1/5597046?fr=aladdin

[5] http://m.elecfans.com/article/810338.html

[6 ]http://www.dmtck.com/?c=show&m=view&id=307

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值