我们与现实世界进行交互的主要方式是手,我们与VR世界的交互同样如此。
从最初级的手势交互,例如英梅吉和 HoloLens 仅有固定几个手势,到追踪用户手指关节运动在虚拟空间中模拟整只手出来的Leap Motion、uSens,再到手拿手柄在虚拟空间里进行交互的 Vive 手柄和 Touch,还有加入更多交互维度的产品,比如Dexmo和微软都有研发的力反馈。
关于用户的手与 VR 世界交互这块几乎所有VR公司都要涉及,当下的手部交互存在哪些问题?如何让我们与VR世界的交互更加真实、自然?
本期公开课我们邀请到了VR领域技术专家张梦晗为大家解读这些问题。
嘉宾介绍
张梦晗,男,VR领域技术专家,高级工程师。2012年至今从事VR/AR领域技术研发,目前聚焦在VR/AR交互领域进行技术探索和研究。
以下内容整理自公开课。
当下主流的VR交互方式
在回答这个问题之前,我想先解释下交互在AR&VR里面的意义。
现在的VR产品的产品形态逐渐趋同,世界上能提供合格屏幕、光学、芯片等等关键器件和材料的公司也就那么几家,大厂进来以后各种参考设计也越来越多,VR头盔未来就是一个制造显示器的活,能产生差异化的点越来越少了。
Microsoft Kinect
而目前大家都在VR交互方面下大功夫,短期来说是产品本身的差异化需求,这不仅仅关系到用户体验,还有内容生态本身的原因。以Microsoft Kinect为例,基于体感交互设计开发的游戏成为了事实上的平台独占游戏,并且成为很多人购买Xbox的核心理由。
长期来看,VR和AR设备在交互领域是相通的,而且目前的阶段正是一个拓荒期:操作界面正在从二维平面转移到三维空间,但是还没有形成一个类似PC时代下鼠标键盘操作界面这样的大家公认的交互范式,这样的机会应该说是所有做人机交互的专业人士一辈子难得遇到的机会。
在这样的背景下,我倾向于将VR&AR交互的范畴划的大一些:
一类是大家普遍关注的由人主动发起的交互动作,比如手部交互、体感交互等等,这类交互往往发出的都是确定性的指令性信息,要求准确达成某些特定的目的,也会耗费最多的精力和体力。
还有一类则是由机器主动发起的交互动作,比如眼球跟踪、脑电肌电、头部位置跟踪、表情识别等等,这类交互是机器来感知使用者的状态来进行交互,很多时候使用者自身不需要牵扯太多精力。
再有一类不能忽视的是机器对环境的感知交互,比如三维重建、情景感知、物体分割识别等等,很多时候尤其在AR中,只有先做好对外在环境的感知,人与机器之间的交互才能顺畅。
这是我理解的交互范畴,帽子有点大盖住的东西太多,但是今天我们还是集中于一个关键点,也就是手部交互来进行探讨。
VR手部交互的重要性
手对你有多重要,手部交互就有多重要。
除了嘴之外,手应该是人日常最经常使用的的信息输出器官了,传统的大部分交互接口也都是围绕人手来设计