手势控制机械臂抓取

1 环境配置

创建虚拟环境

conda create -n tsm python=3.8
conda activate tsm

安装cuda11.0的pytorch和torchvision（幻影峡谷的cuda是11.0）

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

依赖项

pip install TensorboardX
pip install tqdm
pip install scikit-learn

2 改代码

temporal-shift-module-master-xxx/online_demo/main_robot_arm.py

3 和机械臂控制的笔记本通信

用socket通讯，连接同一个局域网（机械臂的wifi，robot4g）

客户端代码为

temporal-shift-module-master-xxx/online_demo/client1.py

将客户端代码里的ip改为机械臂笔记本的ip

服务端代码在

serve.py

里面的ip不用改

4 相机标定

方差均在0.几以下才行

每个姿态下记得把机械臂位姿拍照

5 拍照、分割、位姿估计

6 手势控制抓取

运行手势控制代码temporal-shift-module-master-xxx/online_demo/main_robot_arm.py

运行抓取代码zhuaqu.py  zhuaqu2.py

停止手势为抓第一个物体（罐头，传递信号1）

等机械臂运动完并回到初始位姿再做下一个手势

大拇指向上为抓第二个物体（瓶子，传递信号2）