“VR手套控制机械臂”亮相市中区科技活动周

最新推荐文章于 2024-07-23 17:58:10 发布
最新推荐文章于 2024-07-23 17:58:10 发布
阅读量952 收藏 1
点赞数 1
分类专栏： 科技 文章标签： VR交互 创新 惯性动捕
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/springvr/article/details/80666885
版权
2018年济南市市中区科技活动周上，超感智能展示了“VR手套控制机械臂”项目，吸引广泛关注。市中区科技局张华国局长对该项目的前沿交互技术和潜在社会效益给予高度评价，并承诺提供政策支持。超感智能专注于惯性动捕和VR交互技术，其Miiglove和Miisuit产品已取得初步成果，未来将持续研发提升VR交互体验。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

（市中区科技局张华国局长现场了解展示项目）

5月23日上午，2018年济南市市中区科技活动周在济南大学校园广场顺利举行。济南超感智能作为参展嘉宾应邀到场参加，同时“VR手套控制机械臂”作为入驻项目代表亮相本次科

最低0.47元/天 解锁文章
Unity--机械臂场景2-机械臂
唐小墨同学的博客
07-11 3795
机械臂的每一个自由度呈层级关系，也就是较末端的自由度跟随父自由度一起移动。本文以机械臂的其中一个自由度为例，实现使用示教模式控制机械臂。
Unity-机械臂场景3-手爪
唐小墨同学的博客
07-11 3415
手爪是机械臂场景中较难的一部分，它涉及到了与抓取物体的碰撞和共同移动，以下的手爪脚本只考虑到了初步功能，在此基础上还可以做改进。
虚拟现实技术与机械臂控制相结合！使用水星Mecury X1人形机器人搭建VR遥操作控制平台
最新发布
m0_71627844的博客
07-23 3513
其中尤为难以平衡的是下发时间的间隔和时间片，因为网络延迟是不确定的，机器处理运算也需要时间，因此实际需要的时间是要比单纯下发的间隔要长的，具体长多少也是不固定的。而且手柄的初始位置也是个问题。因为Mercury机器人的手臂，本质上是由两个Mercury单臂组成的，在单臂自己的视角下，它的坐标实际上是以它自己的底座，也就是胳膊大臂关节的位置为原点的，而不是以我们期望的——腰部为原点。一个合理的改进方案是加入缓存，缓存会平滑网络延迟带来的误差，给机械臂一个相对稳定的指令流，但是随之而来的问题就是实时性的降低。
Unity--机械臂场景8-三自由度逆向解算3-应用在ABB机械臂
唐小墨同学的博客
04-24 3321
将3自由度机械臂逆解，应用到ABB机械臂上。
无线体感仿生机械手之数据手套远程操控仿生机械手测试视频
StrongerHangover丶蒙先生
08-26 1943
无线体感仿生机械手之数据手套远程操控仿生机械手测试视频
通过VR控制机械臂（Arduino）
01-13
【标题】: "通过VR控制机械臂（Arduino）" 的技术实现与应用 在这个项目中，我们探索了如何利用虚拟现实（VR）技术与Arduino控制器相结合，以实现对机械臂的远程、直观控制。这种创新的技术融合为机器人操作提供了...
通过VR控制机械臂（安卓系统）
01-13
标题中的“通过VR控制机械臂（安卓系统）”是指利用虚拟现实（VR）技术来操纵机械臂，这种技术在现代工业自动化、机器人学以及科研领域中有广泛应用。在安卓设备上实现这一功能，意味着用户可以通过佩戴VR头显，通过...
通过VR控制机械臂(Unity3D542)
01-13
本项目"通过VR控制机械臂(Unity3D542)"就是这样的一个创新应用，它利用Unity3D游戏引擎的最新版本5.4.2来构建一个VR环境，使用户能够通过头戴式显示器（Head-Mounted Display，HMD）直观地控制机械臂进行精确操作。...
通过VR控制机械臂(Unity3D642)
01-13
本项目“通过VR控制机械臂(Unity3D642)”正是这种结合的一个实例，利用Unity3D游戏引擎的强大功能，实现用户通过VR设备远程操作机械臂，为远程操作、自动化和智能制造提供了新的解决方案。 Unity3D是一款广泛应用于...
机器人替身不再只是电影！远程机器人VRoxy通过VR实时模仿你的动作
Hinyeung2021的博客
11-13 212
当然目前来说，这项新技术还面临着巨大的挑战，比如用于协作的运动控制机器人需要与远程操控者具有相同的空间环境，但现实场景往往并非如此。近日，康奈尔大学和布朗大学的研究人员开发了一种增强的远程呈现机器人，能够自动实时地响应的远程操作用户在虚拟现实中的动作和手势。试想一下，外科医生正在为一位远在千里之外的患者进行手术，跨越距离的阻碍，戴上VR头盔通过VRoxy系统，他可以清楚地看到患者的身体内部，并进行精细的手术操作。当人类拳击不再被允许，取而代之的是各种机器人走上了擂台，继续这项火爆又热血的运动，愉悦大众。
【2017贸泽大赛】二等奖作品：VR视角远程牵引控制机械臂-电路方案
04-21
VR第一视角远程牵引控制机械臂项目概述: 项目方案:VR+动捕+机械臂。 项目完成情况: 把CC3220开发板的TCP Server弄出来了，可以远程控制机械臂了，最终还是没有时间搭建HTTP Server，摄像头共享就只能作罢了。 不采用传统的输入设备（如:键盘、鼠标、手柄等）来做控制，也不是简单的让机械臂和操作者的手臂同步。具体实现步骤如下。 1. 制作一个机械臂 某宝上直接买了一个几十块现成的，虽然很糙，但是足够用了。 2. 安装机械臂的第一视角 配合两个舵机实现上下左右的转动。 这里本来应该是用JPEG摄像头连到CC3220开发板来做远程的， 开发板上搭建HTTP Server最终还是没搞定。 测试的时候用了一台手机代替开发板（手机上倒是做了完整的测试界面，包括控制、摄像头画面、信息窗口）。 3. 机械臂的远程控制及第一视角的远程共享 这里先说说之前的测试方案: 机械臂和控制第一视角的舵机都用Arduino驱动，把Arduino和手机用OTG线连接。手机上搭建一个HTTP服务器，负责接收远程指令和手机摄像头画面（作为机械臂的第一视角）的远程共享。机械臂的控制指令通过手机USB发送给Arduino。 结合CC3220的方案: 摄像头画面共享没实现，没有搞定开发板上的HTTP Server。在官方Demo里的“network_terminal”的基础上修改的TCP Server，从Socket里面获得控制指令，转换成PWM信号控制机械臂的舵机。这次只控制机械臂的舵机，没有远程摄像头舵机的控制。 4. 在3D开发环境下的开发 首先重构一个虚拟的机械臂，只要保证重要的机械结构一致就可以了，其它的细节不需要（参考下图）。 然后为用户构建一个虚拟的半透明屏幕，绑定在视角前方，用来显示机械臂第一视角的画面。（U nity下面获取远程画面不是很方变，这里没有做视频流，而是通过刷新的方式一帧一帧获取摄像头画面，用base64Binary格式压缩到HTTP服务器的响应中） 导入一个单手臂的模型，并握有配套的手柄模型。 因为要用到VR，这里选择了Unity3D。远程通信要实现: 让操作者用头部转动去控制机械臂第一视角的转动 分析虚拟机械臂的运动从而计算出相应的控制指令来实现现实的机械臂和虚拟机械臂的同步。 结合CC3220的方案: 上面展示的是测试时候的方案，手机VR的SDK用的是Cardboard。结合CC3220开发板的时候，更换了Google Daydream的SDK，手柄也直接替换成了Daydream的手柄。没有搞定远程视频共享，所以删掉了虚拟的半透明屏幕，重新制作了虚拟工作环境:包括多视角观察窗口（左测和上方两个视角）、传感器监控（数据、模型）、舵机转角计算结果的监控、虚拟键盘（用于设置TCP Server的IP地址和端口）。Daydream下面不能像Cardboard一样设计屏幕输入界面，所以才设计了一个虚拟键盘。 5. 引入动捕设备 用三颗MPU6050实现手臂动捕，这样在虚拟环境下就有了完全同步的虚拟手臂了。测试的时候用了一个自制的手柄不带任何运动传感器。 结合CC3220开发板做测试的时候，采用Daydream，可以用Daydream的遥控器代替自己做的手柄。虽然Daydream的遥控器是九轴的，但校准方面还是纯主观性的，说白了跟六轴的效果是一样。在Daydream下面蓝牙插件做的有点问题，不够顺畅。如果不压缩数据，会出现明显的延时和卡顿，目前还是依靠牺牲传感器计算结果的精度来解决。感兴趣可以看看后面的一个演示视频，遥控器可以不用死死捏在手上，可以变换握姿。操作上也更加丰富了。另外，Daydream的遥控器有触摸板，配合触摸板下的按键，可以实现多种操作的组合。 6. 控制流程 测试方案: （动捕设备） （运动分析得到控制指令） 操作者的手臂 ------> 同步的虚拟手臂 ------> 牵引虚拟的机械臂 ------> 远程让机械臂同步 （头部转动分析得到控制指令） 操作者的头部 ---------------------------------> 远程让机械臂同步 （远程图传） 虚拟环境下的虚拟屏幕<-------------机械臂第一视角 CC3220方案: （敲击输入） 虚拟键盘 -----------------> 设置TCP Server的IP和端口 （动捕设备） （运动分析得到控制指令） 操作者的手臂 ------> 同步的虚拟手臂 ------> 牵引虚拟的机械臂 ------> 远程让机械臂同步 项目开发环境: 硬件清单: 测试方案: 机械臂 x 1（四个舵机） 舵机 x 2（用于转动手机） Arduino x 1 安卓手机 x 2 动捕设备 x 1（IMU:MPU6050 x 3， MCU:MSP4
基于视觉伺服的机械臂分拣
04-09
非常不错的论文，对于机械臂的视觉伺服有需求的朋友们可以看一看
Unity--机械臂场景12-简单流水线应用4
唐小墨同学的博客
07-11 1134
上一篇已经实现了机械臂各种动作的控制，本篇实现一下其余的组成部分，比如手爪、传感器和自动放置工件等。
Unity--机械臂场景11-简单流水线应用3
唐小墨同学的博客
07-11 2030
​ 上一篇使用了DoTween插件，并且改写了事件的相关参数，本篇将实现在三自由度逆向解算3的基础上，使用发送事件的方式，实现机械臂的自动抓取。本方法在测试过程中也产生了不少问题，比如机械臂抖动，节奏不协调等，后期会继续测试，也请批评指正。
UC San Diego的三大机器人：AnyTeleop、Open-TeleVision、Bunny-VisionPro——从RGB相机到VR远程控制机器人
结构之法 算法之道
07-12 1万+
这篇论文的链接，我当时快速看了一遍，还是有价值的一个工作(其应该有受humanplus工作的其他)，一直想做下解读来着，无奈过去一周一直在弄mamba2的解读，所以没来得及弄。码器捕捉图像和本体感觉标记的关系，Transformer解码器输出特定块大小的动作序列。手腕的姿态流式传输到服务器。服务器将人类姿态重新定向到机器人，并将关节位置目标。如下图所示，便是TeleVision的远程操作数据收集和学习设置。7.3日，我司大模型机器人(具身智能)线下营群里的一学员发了《左：我们的远程操作系统。
超感科技针对行业客户推出动捕手套和服装
springvr的博客
12-19 1485
戴上VR头盔后，人们想要做的第一件就是触摸和感觉虚拟环境中的任何东西。目前大部分VR头显，如Oculus Rift和HTC Vive，全都基于手柄作为交互工具，即使现阶段这些控制器能实现很多功能，也会大大破坏人们在虚拟世界的沉浸体验。 相比手柄，数据手套正好填补了无法精细到手部关节的缺陷。不仅能将人手的姿态准确、实时地传递给虚拟世界里，而且还能提供触觉反馈。初创团队如荷兰的Manus Mac
多交互智能手套Miiglove
springvr的博客
12-22 2947
将振动反馈设计在食指部位， 可以更好地提升VR场景下触控反馈的效果。
数据手套的设计与实现
热门推荐
silent_F的博客
06-14 1万+
最近因为参加比赛做了一个数据手套，话不多说，先上图： 这里数据手套是用STM32F103作为主控芯片，里面搭载了UCOSII操作系统，主要是用来并行触发任务的。主要的任务有弯曲度传感器的AD读取（获取手指弯曲状态）。MPU6050传感器的数据读取（获取手部的倾斜状态）。蓝牙发送任务（发送手的姿态数据） 弯曲度传感器应用的原理就是串联分压，通过弯曲弯曲度传感器，改变它的电阻，从而改变它的电压
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值