记录第一次使用nvidia tao训练模型的过程

Nvidia TAO是NVIDIA官家强力推荐的迁移学习工具，按照官方说法，在NGC已有的训练模型上只需要少量数据集和少量训练，就可以达到很好的效果。于是尝试了一把车牌检测训练。
环境：Centos7 V100*4
数据集：CCPD_GREEN

搭建NVIDIA TAO环境

1、首先注册NVIDIA账号，并获取NGC等KEY。安装docker、virtualenv、virtualenvwrapper等前期准备工作，这方面内容不再叙述，有很多此方面的文档。
2、创建NVIDIA TAO的虚拟环境。按照官方指引一步步做就可以了。
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
mkvirtualenv launcher -p /path/to/your/python3
workon launch
docker login nvcr.io
进入launch虚拟环境并登录NVCR
3、安装NVIDIA TAO工具
pip3 install nvidia-pyindex
pip3 install nvidia-tao
如果运行tao -h能够有{list,stop,info,augment,bpnet,classification…}等输出，就表示TAO工具已经安装好了
4、拉取镜像
NGC上的TAO的镜像分为视频镜像和语音镜像，这里拉取视觉分析镜像
docker pull nvcr.io/nvidia/tao/tao-toolkit-tf
镜像文件比较大，需要耐心等待。镜像拉取后，环境配置基本完成

编辑~/.tao_mounts.json，将自己的项目目录映射到docker中的目录

TAO的各类操作都是在容器中完成的，每次运行tao xxxx等命令的时候，都会启动容器来运行，_{/.tao_mounts.json文件比较关键，配置了项目目录映射到容器目录、容器配置等关键信息。我的}/.tao.mounts.json文件如下：
{
“Mounts”: [
{
“source”: “/media/vernon/Data/taoprjs/diningroom_tray_detect”,
“destination”: “/workspace/tao-experiments”
},
{
“source”: “/media/vernon/Data/taoprjs/diningroom_tray_detect/specs”,
“destination”: “/workspace/tao-experiments/specs”
},
{
“source”: “/media/vernon/Data/taoprjs/pretrained_model”,
“destination”: “/workspace/tao-experiments/pretrained_model”
}
],
“Envs”: [
{
“variable”: “CUDA_DEVICE_ORDER”,
“value”: “PCI_BUS_ID”
}
],
“DockerOptions”: {
“shm_size”: “16G”,
“ulimits”: {
“memlock”: -1,
“stack”: 67108864
},
“user”: “1000:1000”,
“ports”: {
“8888”: 8888
}
}
}
最主要的字段为Mounts，定义了从主机到容器的映射目录。可以直接将整个项目目录都映射到容器中，也可以对项目中关键的spec、pretrained_model等进行单独映射。
这里需要注意的是user字段，对应的是dockeroot用户的用户ID和组ID。在单机上，我已经将本地用户添加到docker组，所以可以用本地用户直接进入docker。但是在服务器上，会使用dockeroot用户，该用户的id和group id一般是1001，因此要将user字段改为 “1001：1001”。（在这里我浪费了很长时间才找到这个问题，每次进入docker都是没有读写权限，即使用sudo进入docker一样没有权限，所以一定要改为dockeroot的用户id和组id）

未完待续。。。