技术背景

在对接无人挖掘机技术方案之前,实际上,我们已经做了很多低延迟平衡操控的案例,比如无人机巡检、四足机器人、水下机器人、仿真、军工等低延迟交互场景。本次探讨的是无人挖掘机使用场景:

一、土石方工程

无人挖掘机在土石方工程中发挥着重要作用,主要包括道路建设、隧道开挖、港口码头、河道清淤等。通过精确的导航系统、高精度的传感器和精准的控制技术,无人挖掘机能够快速、高效、精准地完成各种土石方工程任务,大大提高了工程质量和工作效率。

二、煤矿开采

煤矿开采是无人挖掘机另一个主要的应用领域。无人挖掘机可以在煤矿井下进行作业,搭载高清晰度摄像头和传感器,实时感知井下环境,随时随地对煤矿进行巡查、取样和检测等操作。这种应用不仅提高了开采效率,还显著提升了作业的安全性。

三、冶金建筑领域

在冶金建筑领域,无人挖掘机也得到了广泛应用。它可以进行各种精度要求高的工程作业,如钢板切割、钢管焊接、混凝土浇注等。相对于传统作业方式,无人挖掘机能够降低工人的劳动强度和工作风险,提高生产效率和质量。

四、建筑场景

无人挖掘机在建筑场景中的应用日益增多。例如,面向建筑场景的“无人挖掘机作业系统”可以实现自主避障行走、自动装车卸车、回退挖沟等既定施工任务。这种系统通过结合3D环境建模和高清定位技术,对场景及任务进行全局分析,能够高效智能地完成施工任务,有助于提高施工效率,降低安全风险,并节约施工成本和缩短工期。

五、应急救援

在应急救援场景中,无人挖掘机也发挥着重要作用。它能够快速进入危险区域,进行挖掘和清理工作,为救援行动提供有力支持。由于无人挖掘机不受人员疲劳和危险环境限制,因此在应急救援中具有独特的优势。

六、智能制造和数字化转型

随着智能制造和数字化转型的推进,无人挖掘机作为现代装备制造和智能制造的重要组成部分,其应用领域将会越来越广泛。通过与人工智能、大数据、云计算等技术的深度融合,无人挖掘机将实现更高级别的自主作业和智能化管理,为工业领域的智能化转型提供有力支持。

技术实现

这里,我们主要探讨如何低延迟的把前端摄像头(一般分多摄像头协同或单个全景摄像头)的数据播放出来,拿到前端画面,然后通过传感器,控制前端设备,实现现场无人作业。

平行操控之高危作业-远程无人挖掘机优势及技术实现_大牛直播SDK

通常来说,如果是内网环境下,前端摄像头走RTSP居多,如果是公网,走RTMP居多。远程操作平台以Windows平台和Android终端居多。如果是全景摄像头,后端可以在比如Pico、Quest眼镜(Unity下)上,直接全景操作,配合大牛直播SDK的RTSP|RTMP低延迟播放器,整体延迟控制在150-200ms。

目前RTSP|RTMP播放模块实现的主要功能如下:

  • [支持播放协议]高稳定、超低延迟、业内首屈一指的RTSP、RTMP直播播放器SDK;
  •  [多实例播放]支持多实例播放;
  •  [事件回调]支持网络状态、buffer状态等回调;
  •  [视频格式]支持H.265、H.264,此外,还支持RTSP MJPEG播放;
  •  [音频格式]支持AAC/PCMA/PCMU;
  •  [H.264/H.265软解码]支持H.264/H.265软解;
  •  [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解;
  •  [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解;
  •  [H.264/H.265硬解码]Android支持设置硬解和普通模式硬解码;
  •  [RTSP模式设置]支持RTSP TCP/UDP模式设置;
  •  [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换;
  •  [RTSP超时设置]支持RTSP超时时间设置,单位:秒;
  •  [RTSP 401认证处理]支持上报RTSP 401事件,如URL携带鉴权信息,会自动处理;
  •  [缓冲时间设置]支持buffer time设置;
  •  [首屏秒开]支持首屏秒开模式;
  •  [复杂网络处理]支持断网重连等各种网络环境自动适配;
  •  [快速切换URL]支持播放过程中,快速切换其他URL,内容切换更快;
  •  [实时静音]支持播放过程中,实时静音/取消静音;
  •  [实时音量调节]支持播放过程中实时调节音量;
  •  [实时快照]支持播放过程中截取当前播放画面;
  •  [只播关键帧]Windows平台支持实时设置是否只播放关键帧;
  •  [渲染角度]支持0°,90°,180°和270°四个视频画面渲染角度设置;
  •  [渲染镜像]支持水平反转、垂直反转模式设置;
  •  [等比例缩放]支持图像等比例缩放绘制;
  •  [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔);
  •  [解码前视频数据回调]支持H.264/H.265数据回调;
  •  [解码后视频数据回调]支持解码后YUV/RGB数据回调;
  •  [解码前音频数据回调]支持AAC/PCMA/PCMU数据回调;
  •  [音视频自适应]支持播放过程中,音视频信息改变后自适应;
  •  [扩展录像功能]完美支持和录像SDK组合使用。

总结

无人挖掘机在工业领域应用非常广泛,从音视频开发的角度,我们需要做的是更低的延迟,获取到现场的数据,然后通过传感器,对前端设备进行控制,常用的场景比如土石方工程、煤矿开采、冶金建筑、建筑场景、应急救援等。随着技术的不断发展和创新,无人挖掘机的应用领域将会进一步拓展和深化。