APC视觉工具箱使用教程

APC视觉工具箱使用教程

apc-vision-toolbox MIT-Princeton Vision Toolbox for the Amazon Picking Challenge 2016 - RGB-D ConvNet-based object segmentation and 6D object pose estimation. 项目地址: https://gitcode.com/gh_mirrors/ap/apc-vision-toolbox

1. 项目目录结构及介绍

APC视觉工具箱的目录结构如下：

apc-vision-toolbox/
├── convnet-training/
├── data/
│   └── sample/
├── evaluation/
├── realsense-standalone/
├── rgbd-utils/
├── ros-packages/
│   └── catkin_ws/
│       └── src/
├── vis-utils/
├── LICENSE
├── README.md
└── teaser.png

目录介绍

• convnet-training/：包含用于深度学习卷积网络训练的代码。
• data/：包含示例数据，如sample/目录中的示例场景数据。
• evaluation/：包含用于评估的代码。
• realsense-standalone/：包含用于独立运行Realsense传感器的C++代码。
• rgbd-utils/：包含RGB-D数据的实用工具。
• ros-packages/：包含ROS包，如catkin_ws/src/目录中的ROS源代码。
• vis-utils/：包含可视化工具的代码。
• LICENSE：项目的许可证文件，采用BSD-2-Clause许可证。
• README.md：项目的README文件，包含项目的基本介绍和使用说明。
• teaser.png：项目的宣传图片。

2. 项目启动文件介绍

2.1 Matlab Demo

项目的启动文件之一是Matlab Demo，用于估计6D对象姿态。启动步骤如下：

1. 克隆项目仓库：

   git clone https://github.com/andyzeng/apc-vision-toolbox.git
   

2. 进入项目目录：

   cd apc-vision-toolbox/ros-packages/catkin_ws/src/pose_estimation/src/
   

3. 启动Matlab并运行mdemo：

   mdemo
   

2.2 6D Pose Estimation ROS Package

另一个启动文件是6D Pose Estimation ROS Package，用于通过模型拟合估计6D对象姿态。启动步骤如下：

1. 启动roscore：

   roscore
   

2. 启动姿态估计服务：

   rosrun pose_estimation startService
   

3. 调用服务（参考pose_estimation/srv/EstimateObjectPose.srv中的服务请求格式）。

3. 项目配置文件介绍

3.1 依赖配置

项目依赖于以下库和工具：

• librealsense v1：用于Realsense传感器的驱动库。
• OpenCV：用于图像处理。
• Point Cloud Library (PCL)：用于点云处理。
• Matlab 2015b或更高版本：用于运行Matlab代码。

3.2 编译配置

项目的编译配置主要涉及ROS包的编译。以下是编译步骤：

1. 将ROS包ros_packages/pose_estimation复制到你的catkin工作空间的源目录（如catkin_ws/src）。
2. 按照pose_estimation/src/make.m顶部的说明编译ROS自定义消息。
3. 编译GPU CUDA内核函数：

   nvcc -ptx KNNSearch.cu
   

3.3 运行配置

在运行项目时，需要配置以下内容：

• 数据目录：在运行marvin_convnet时，需要指定数据目录。
• 相机校准数据：在调用姿态估计服务时，需要提供相机校准数据。

通过以上配置，你可以顺利启动和运行APC视觉工具箱项目。

apc-vision-toolbox MIT-Princeton Vision Toolbox for the Amazon Picking Challenge 2016 - RGB-D ConvNet-based object segmentation and 6D object pose estimation. 项目地址: https://gitcode.com/gh_mirrors/ap/apc-vision-toolbox