ubuntu系统下使用gelsight mini获取marker运动

一、背景

视触传感器gelsight mini可以获得丰富的物体信息，此外表面涂有marker的弹性体，可以使用marker的信息估计接触力的大小。这里记录一下在ubuntu系统下观察marker运动的过程。

环境：ubuntu18.04

切记：我的电脑是联想Y9000K，type-C口在右侧，在右侧，在右侧

二、ubuntu系统下使用gelsight mini获取marker运动

首先登陆gelsight官网：https://github.com/gelsightinc/gsrobotics
下载gsrobotics-main.zip压缩包，然后仔细阅读readme说明。

1、创建conda环境

运行gelsight需要许多依赖包，如Python 3.8，opencv等等。为防止把电脑系统搞崩，这里新建一个conda环境，
创建
conda create -n gelsight python=3.8
conda activate gelsight

因为我之前配置yolov8的时候下载用的也是Python 3.8，所以我直接用yolov8的conda环境。

conda activate yolov8

随后在Home位置新建一个GelSight的文件夹，将我们下载的gsrobotics-main.zip复制过去，并解压到GelSight的文件夹。

cd ~/GelSight/gsrobotics-main/demos/mini_tracking_linux_V0

将gelsight mini与自己的电脑相连。

此时应该是处于conda环境的状态，运动命令：

python3 tracking.py

如果报错No module named ‘***’，可以直接pip3下载，没有什么就下载什么，我这里也记录一下过程：

ModuleNotFoundError: No module named 'numpy'

pip3 install numpy


ModuleNotFoundError: No module named 'cv2'

conda install -c conda-forge opencv


ModuleNotFoundError: No module named 'torch'
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge

ModuleNotFoundError: No module named 'open3d'
conda install -c open3d-admin open3d 

ModuleNotFoundError: No module named 'sklearn'

conda install scikit-learn

ModuleNotFoundError: No module named 'addict'
pip install addict

ModuleNotFoundError: No module named 'plyfile'
pip install plyfile
如果显示红色，则重新运行一遍命令

当不再报错时，从新运行python3 tracking.py命令。

即可成功显示marker的图像：
marker图像数据保存在：/home/dlut/GelSight/gsrobotics-main/demos/mini_tracking_linux_V0

注意Barkyard夹爪不要设置太大的力，防止gelsight传感器被损坏，我设置的参数为0.15：