独家 | 使用深度神经网络在Oculus Quest上进行准确的手部追踪

最新推荐文章于 2021-07-20 23:56:39 发布
最新推荐文章于 2021-07-20 23:56:39 发布
阅读量875 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tMb8Z9Vdm66wH68VX1/article/details/103471229
版权
Facebook Reality Labs与Oculus研发出首个仅依赖单色摄像头的VR手部跟踪系统，无需额外设备，应用于Oculus Quest。通过深度学习与模型跟踪技术，该系统提供大范围交互并支持指捏等手势。实时手部跟踪通过三维模型实现，为开发者创建新交互机制提供可能。手部跟踪技术将提升VR的自然度和直观性，为AR/VR体验带来革新。
摘要由CSDN通过智能技术生成

作者：Shangchen Han, Beibei Liu, Tsz Ho Yu, Randi Cabezas, Peizhao Zhang, Peter Vajda, Eldad Isaac, and Robert Wang

翻译：吴金笛

校对：和中华

本文约750字，建议阅读3分钟。

本文简单介绍了最新的手部跟踪技术。

 

手部跟踪技术是什么

 

Facebook Reality Labs和Oculus的研究者和工程师开发出了目前为止唯一完全依赖单色摄像机的、完全铰接的VR手部跟踪系统。该系统不使用主动式深度感知技术或任何附加设备(如配置的手套)，我们将把这项技术作为Oculus Quest的软件升级。Oculus Quest是一款无缆线、独立的VR头戴设备，现在已供消费者使用。

 

通过将Quest的四个摄像头与深度学习和基于模型跟踪的新技术结合，我们实现了一个比基于深度的解决方案更大的交互量， 我们只需要很小的尺寸，重量，电源和成本，处理完全在设备上完成，并且系统经过优化以支持交互手势，例如通过指和捏进行选择。

 

手部跟踪技术如何工作

 

深度神经网络用于预测一个人的手（比如手的关节）和地标的位

最低0.47元/天 解锁文章
数据派THU
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Oculus Rift S丨（三）实现Oculus空间出现手的效果、隔空抓取
星河造梦坊
09-26 1734
一、实现Oculus空间出现手的效果 目标 在Oculus应用中看到自己的手模型，用这个模型作为自己的手，进行交互。 出现手有三种效果： 1、只有手柄 2、只有手 3、手拿着手柄 实现步骤： 效果1：只有手柄 直接将预制件：OVRCameraRig 拖到你的场景即可。 注意，该预制件也实现了摄像头效果。 效果2：只有手 直接将预制件：Custom...
CVPR 2020 论文大盘点-人体姿态估计与动作捕捉篇
我爱计算机视觉
06-18 9866
本文盘点CVPR 2020 所有人体姿态估计（Human Pose Estimation）、手势识别（Gesture Recognition）、人体形状与姿态估计（HumanShape...
光学定位与追踪技术_「主题分享」VR空间技术追踪技术
weixin_32501329的博客
12-19 3161
VR空间技术追踪技术概述VR和AR经过多年发展，现今也算小有所成，带来了全新的体验。然而，对比科幻电影里那些炫酷的虚拟世界场景还差很多。《头号玩家》电影相信很多人都看过，片中的场景应该算是VR的终极形态了。但是要达成这样的体验，必须要解决一个问题：如何定位玩家的空间位置？也就是所谓的位置追踪怎么实现。对于全沉浸式的VR而言，玩家进入虚拟世界，看不到周围的真实环境，展现在玩家周围的完全是个虚拟世界；...
Oculus Quest2 手势跟踪，裸手操控，UE4环境开发手记
cz666的专栏
06-01 5174
----2021.06.01----- 因为项目需要，需要研究VR下纯手势交互，不使用VR控制器，在VR环境下纯用人的手作为控制器，同场景中的内容交互。 当前，手势
【VR】详解 Facebook Oculus团队的手势追踪系统——MegaTrack
火火的博客
11-04 3802
文章目录一、前言补充-SIGGRAPH是什么？：二、论文分析1、这篇论文讲的啥？2、直接传感器->简间接传感器2.X【补充】两种间接传感器的对比3、实现过程3.1、DetNet3.2、KeyNetDetection model (DetNet)2.5D keypoints model (KeyNet)3.3、手部动态模型Hand kinematic modelLevenberg-MarquardtStereo camera[问题]他都有四个摄像头了，为什么不能直接生成手部的3d坐标呢？是因为位置都太靠
QuestHands:用于新Oculus Quest手部追踪的Unreal Engine 4插件。 在Oculus正式发布之前将我们捆绑在一起
05-03
用于新Oculus Quest手部追踪的Unreal Engine 4插件。 直到我们将Oculus正式发布为止。 此插件版本需要Epics Unreal Release 4.25，其中包括手部跟踪所需的Oculus SDK版本12。 有关该插件的其他版本，请参见此存储...
Oculus桌面应用-Oculus Quest连PC用
02-18
1. Quest连PC必用官方客户端 2. 可以配合VirtualDesktop串联Rift
Oculus Quest 2 完整升级包_v30固件包（含教程）.zip
09-15
在开始升级前，请确保你的Oculus Quest 2已充满电，连接至稳定的Wi-Fi网络，并备份你的个人数据。同时，关闭所有正在运行的应用程序，以防止升级过程中出现意外中断。 三、升级步骤 1. 下载与解压：首先，你需要...
SuperQuest：专为Oculus Quest量身定制的AFrame组件
02-06
专为Oculus Quest和Oculus Quest 2量身定制的A-Frame VR插件。 包括针对Oculus Browser优化的轻量级物理系统以及用于虚拟手拾取和操纵虚拟对象的组件。 __ ____ _ / _\_ _ _ __ ___ _ __ /___ \_ _ ___ ___| |_ \...
稳健的铰接式ICP实时手势跟踪
09-06
这个文档是Robust Articulated-ICP for Real-Time Hand Tracking的一些翻译，是我本科毕设要求的论文翻译，翻译的有些不完整，只能凑合看看，很可能有翻译不正确的地方 Robust Articulated-ICP for Real-Time Hand Tracking开源了代码在github上
android.ndk.oculus-quest-example：在Oculus Quest上将NDK与CMake结合使用的Android示例
02-06
Oculus Quest Android NDK示例 这基本上是从 （版本17.0，API 1.34.0）中获取的VrSampleBase示例，但是作为单个应用程序，可以用作自定义应用程序的起点。 它使用CMake构建C ++模块。 入门 安装Android Studio，使用...
使用 Python+OpenCV 构建手部跟踪系统
深度学习与计算机视觉
07-20 2680
OpenCV 是一个用于计算机视觉应用程序的库。在 OpenCV 的帮助下，我们可以构建大量实时运行更好的应用程序。主要用于图像和视频处理。可以在此处获取有关 OpenCV 的更多信息 (...
Oculus Quest开发时打包遇到的一些问题
Kathy_unity的博客
07-09 1926
1.adb连接不上，错误“adb server version(31) doesn’t match this client（40）”，原因是端口被占用，（adb对应的端口为5037）： 检查端口是否被占用的方法：确定是什么程序占用了端口，找到后可通过任务管理器来结束进程，还可以卸载，比如说我的就是360安全卫士大哥占了我的5037端口，然后果断卸载，adb正常运行。 通过netstat -an...
实时手势识别 【手部跟踪】Mediapipe中的hand
sinat_28371057的博客
03-10 4406
# pip3 install mediapipe import mediapipe as mp import cv2 images={} images["image"]=cv2.imread("hand.jpg") mp_hands = mp.solutions.hands mp_drawing = mp.solutions.drawing_utils with mp_hands.Hands( static_image_mode=True, max_num_hands=2,...
UE4 针对Oculus应用的打包及安装（UE4.24 和Oculus quest为例）
qq_45237281的博客
06-06 4203
UE4 针对Oculus应用的打包及安装（UE4.24为例）一、安卓常规配置二、Plugins配置三、Oculus的环境配置四、安装方式发现的问题 一、安卓常规配置 Project: Create compressed Cooked packages √ Supported Platforms :all √ Optimize project settings for : Mobile Scalable 3D or 2D Platforms： Android: Minimum SDK Version
Oculus Quest sideload app
xiaoxixi6151的博客
07-09 1524
转自： https://uploadvr.com/2019/05/22/how-to-sideload-apps-oculus-go/ 1、三种App：VR-App（不支持daydream vr app），TV app（支持），手机phone app（支持的不好） 2、安装外部app： 2-1，打开开发者模式（网站注册开发者，手机app上登录并开启开发者模式） ...
UE4_追踪交互
longyanbuhui的博客
08-05 3683
追踪交互
前端分析-202307110039
最新发布
07-29
前端分析-202307110039
oculus quest2 adb连接不上
05-27
如果你的Oculus Quest 2无法通过ADB连接，请尝试以下步骤： 1. 在Oculus Quest 2上启用开发者模式。在Oculus应用程序中，转到设置>设备>开发者，然后启用开发者模式。 2. 确保你的计算机上已安装了正确的ADB驱动程序。你可以在此处下载最新的ADB驱动程序：https://developer.android.com/studio/releases/platform-tools 3. 将Oculus Quest 2连接到计算机。确保使用USB-C电缆连接，并将Oculus Quest 2设置为文件传输模式。 4. 在计算机上打开命令提示符或终端窗口，并导航到ADB驱动程序所在的文件夹。 5. 在命令提示符或终端窗口中输入“adb devices”命令，以查看您的Oculus Quest 2是否已连接。 如果您遇到其他问题，请确保您的计算机和Oculus Quest 2都已更新到最新版本，并尝试重新启动设备。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值