便利店、药店货柜货品抓取——目标提取（一）

便利店、药店货柜货品抓取——目标提取（一）

项目背景

本项目目的是为了从货柜上取到目标物品，通过离线建立的物品地图信息，引导机器人导航到货柜位置，通过相机引导机器人拿到目标物品。本系列文章主要记录相机引导的过程及开发步骤与源码。

视觉引导主要包含以下三个部分
（1）基于大模型的目标提取
（2）基于相似度检测的目标定位
（3）基于点云的抓取点及抓取方向检测

硬件：RGBD相机

本文实现的方法与机器人无关，只有机械臂与RGBD相机也可使用

目标分割

（1）环境配置
1.1 将存储库克隆到本地

git clone https://github.com/CASIA-IVA-Lab/FastSAM.git

1.2创建conda环境
该代码需要 python>=3.7，以及 pytorch>=1.7 和 torchvision>=0.8。

请按照此处的说明安装 PyTorch 和 TorchVision 依赖项。 强烈建议安装支持 CUDA 的 PyTorch 和 TorchVision。

conda create -n FastSAM python=3.9
conda activate FastSAM

2.3 安装软件包

cd FastSAM
pip install -r requirements.txt

目标图像与点云提取