隔空操作有哪些应用场景？｜mixlab人机交互技术

VR、AR是目前来看，隔空操作最佳的落地场景。

Leap Motion发起的一个开源AR项目

物理和虚拟世界融合在一起，这种体验的核心技术是手部追踪，手势解锁特别适合虚拟/增强现实类应用。

作为一种新型的人机交互技术，不止技术方面还需要打磨，设计上更是缺少最佳实践。

谷歌的mediapipe最近更新了holistic ，可以让我们同时计算人脸关键点、人体姿态、手势等，在普通mac笔记本上可以达到20fps的处理效率，技术上初步具备新型隔空输入交互的条件。

经过实验，holistic算法存在抖动问题，识别结果不够稳定，导致坐标位移抖动情况的发生。

交互设计上我们需要考虑设计上如何适应目前的技术条件。这里我想到了苹果在今年发布会上，提出Design for Intelligence有一个非常重要的设计理念，真正做到以用户为中心的智能设计。

Intelligence：帮助用户简化不同任务的交互路径，让用户用最少的步骤完成最重要的事情。而隔空交互，是否可以达到简化不同任务，最少步骤完成的目标？有待实验。

holistic总体实验下来的感受是交互需要有一个“确认”的过程，但是隔空操作本身追求的体验应该是“快”，为了准确率问题而加入“确认”动作反而降低了体验效果。需要好好思考这两者之间的关系。

另外，我们还需要考虑保证能够方便的取消或忽略不适当的隔空操作；保证系统出错时用户可以对其进行编辑、修改、或者恢复设置等等。

总的来说，目前属于非常新的研究方向，值得探索，挖掘更多适合的使用场景。

体验访问：

https://mediapipe.dev/demo/holistic_remote

参考资料：

https://ai.googleblog.com/2020/12/mediapipe-holistic-simultaneous-face.html?m=1

欢迎留言或社群交流