1. 概述
采用深度学习技术,实现对木制与塑料托盘的实时检测,无需预设尺寸,支持任意角度放置。能够精确输出托盘的六自由度位姿和三维尺寸,适用于多种物流机器人,提高作业灵活性,降低托盘使用限制。
2. 软硬件要求
Factor Perception Lite⽬前⽀持ROS1 Noetic和ROS2 Humble平台,硬件使⽤OAK-D系列相机。
已经过测试的型号:OAK-D Lite,OAK-D S2,OAK-D W,OAK-D Pro,OAK-D Pro W,OAK-D S2 PoE,OAK-D W PoE,OAK-D Pro PoE,OAK-D Pro W PoE
您可以从OAK官方文档获取关于硬件的更多信息。
下载中心 - OAKChinawww.oakchina.cn/download/
3. 安装与配置
3.1 ROS包安装
我们假定您已完成ROS环境安装并且了解ROS功能和使⽤。如果您还不熟悉ROS,可参考ROS官⽅Wiki:
https://wiki.ros.orgwiki.ros.org/
Factor Perception Lite以独⽴ROS包的形式提供。我们已将其预编译为Debian软件包。您可以双击安装,或使用dpkg,apt等⼯具安装:
$ cd /path/to/deb/file/ $ sudo dpkg -i ros-<distro>-factor-perception-
lite_<version>_<architecture>.deb
安装时会⾃动检查所需的依赖项。FactorPerceptionLite的依赖项均来⾃Ubuntu官⽅仓库或ROS官⽅仓库,不使⽤第三⽅依赖。如您在使⽤dpkg安装后提⽰依赖缺失,可使⽤apt-get⾃动安装所需依赖项:
$ sudo apt-get -f install
3.2 udev
如通过USB连接OAK-D相机,用户需手动添加udev规则,以赋予设备权限:
$ echo 'SUBSYSTEM=="usb", ATTRS{idVendor}=="03e7", MODE="0666"' | sudo tee
/etc/udev/rules.d/80-movidius.rules $ sudo udevadm control --reload-rules && sudo udevadm trigger
3.3. 功能授权
Factor Perception Lite的每项功能均有单独的key,需在每次启动程序时作为参数提供。您可以将key保存在launch⽂件或其它配置⽂件中。key与硬件绑定,只能在特定相机上使⽤。在⼀台OAK-D相机上只能同时运⾏⼀项功能(及其⼦功能)。如您需要使⽤多项功能,需自行进⾏切换,或使⽤多台OAK-D相机。
3.4 机器人模型配置
Factor Perception Lite提供了OAK-D相机的Xacro及STL模型,⽤于⽣成URDF。用户⼀般应将其整合到自己的机器⼈模型中。当使⽤默认的TF前缀时,TF Tree如下图所⽰,OAK-D相机的基坐标系为oak_base_frame。各种感知数据会基于对应的相机坐标系或光轴坐标系发布。相机的内外参解析⾃硬件出⼚标定值。用户需自行配置机 器人坐标系(如base_link)到相机基坐标系间的变换关系。
4. 功能说明
4.1 3D托盘检测
这是一套基于深度学习的通用托盘检测方案,可实时检测各种常见的木托盘和塑料托盘,输出托盘的6个自由度位姿(3自由度平移+3自由度旋转)及长宽高。该功能无需预先设置托盘的尺寸,更不要求托盘必须水平放置。多种托盘可混用、可叠放。该功能适用于各类物流机器人,可极大减少对使用托盘载具的限制。
启动实例
示例提供了⼀套最小的运⾏配置,可通过一行命令启动,以便系统测试和功能验证。
对于ROS1:
$ roslaunch factor_perception_lite pallet_detection.launch key:=<your pallet_detection key>
对于ROS2:
$ ros2 launch factor_perception_lite pallet_detection_launch.py key:=<your pallet_detection key>
发布的话题
- rgb/image_rect_color (sensor_msgs/Image)
校正过的彩⾊图像。
- rgb/camera_info (sensor_msgs/CameraInfo)
彩⾊相机内参。
- depth/image_rect (sensor_msgs/Image)
校正过的深度图像,已与彩⾊相机对⻬。
- depth/camera_info (sensor_msgs/CameraInfo)
深度相机内参。
- pallet_array (vision_msgs/Detection3DArray)
托盘检测数据。
参数
~tf_prefix (string, default: "oak")
相机TF前缀。
~mxid_or_name (string, default: "")
相机的MXID,或IP地址,或USB端⼝名称。默认为空,会使⽤⾃动发现的第⼀台OAK相机。当连接多台OAK相机时可指定硬件。
~key (string, default: "")
3D托盘检测功能的key。
~blob_path (string, default: "")
3D托盘检测的深度学习模型,会在程序启动时加载到相机中。应使⽤ROS包blobs目录下的pallet_detection.blob,可参考示例launch⽂件配置。
~confidence (double, default: 0.8)
3D托盘检测的置信度阈值 (>0.5且 <1)。数值越低约容易检测到托盘,也更容易产⽣错误检测。
托盘检测数据说明
相机图像与检测数据的发布频率均为10 Hz。在相机可视范围内可能存在多个托盘,因此检测结果以数组的形式提供。每个元素中的results包含托盘位姿和置信度,bbox为3D边界框。results中的位姿定义在托盘正⽴⾯中点,bbox的位姿定义在托盘中心,如下图所⽰。bbox的size为算法估计的托盘尺⼨。
需要注意的是,⼤多数托盘都可以从两面或四面进叉,因此托盘检测存在对称性歧义。只有当正立面完全可见时,才能输出正确的检测结果。如下图所式,当托盘相对相机呈⼀定夹角时,可能在⼀个托盘上产⽣两个检测结果。因为可见的两面都可以作为正立面。用户需要自行选择使用哪个检测结果及进叉⽅向。实践可见:OAK在自动叉车上的应用
4.2 子功能
当移动机器⼈使用OAK-D相机的深度图像进⾏避障时,原始数据容易导致较高的虚警率。即机器⼈可能因错误的深度值检测到并不存在的障碍物。这可能导致机器人行进时卡顿,或以非预期的方式绕⾏。为此我们专门为双目深度相机设计了这种非参数滤波算法,可以有效滤除⼤多数不可靠的深度值。用户无需任何配置,可直接使⽤过滤后的深度数据进行避障,虚警率可降低至⼏乎为0。过滤后的深度数据如下图所示,尽管看起来较为稀疏,但实际能有效检测各种细小的障碍物。