从零适配autodl并跑自己的深度学习数据集:
很适合“研0/新手”用远程服务器跑自己深度模型的文章,新手向,好上手,据详细,从准备数据集和寻找调试代码开始。
准备工具
1.Pycharm (专业版才可以调试)
2.autodl算力云
AutoDL租用实例:
根据自己的数据集,选择好GPU的内存,CUDA的版本支持。因为是示例就选择个便宜的。
之后这里要用到登录指令和密码,接下来我们根据代码去连接AutoDL。
Pycharm Professional 连接服务器:
先使用Pycharm打开项目工程
在“文件”选择“设置”
在项目下选择“Python解释器”,然后点击“添加解释器”,选择下面的SSH
出现这个界面,在AutoDL中复制“登录指令”,按照下面的格式进行修改,然后点击下一步
直接复制密码,点击下一步
连接完成
这里是配置环境了很重要
总共两个步骤
1.弄“解释器”,点击三个点“…”,解释器的位置为“/root/miniconda3/bin/python”
2.弄“同步文件夹”,即你项目在你当前电脑的路径:
弄好是这样的,推荐远程路径选择如下“/root/autodl-tmp/maskrcnn_example”
然后点击创建即可,之后回出现镜像安装好的依赖项和软件包,例如torch和pip等常用的软件包
之后会连接服务器,并自动上传文件中的数据和代码。等待即可
同步之后选择“工具-部署-配置”:
点击测试连接,可以检测连接状态
接下来将“根路径”修改为“/root"
最后映射我们的路径
本地路径一般不需要改了,但是注意我们的部署路径要没有“root":如下图(因为我们已经在前面修改我们的根路径了):
这样就配置好我们的环境了,可以实际操作了,程序会自动更新索引等。
数据集
这个真的是深度学习中最重要的事情了,深度学习50%以上的事情都是处理数据集的!!!真的很建议去跑一下官方的数据集,再来实验咱们自己的数据集,大家一定要看好数据集的格式,例如coco/VOC数据集是什么样子的,然后再去找脚本更改自己的数据集。
因为博主真的在这方面被折磨了好久/(ㄒoㄒ)/~~,才来决定给大家写个博客的。例如这是我们转成“Coco“数据集的格式:
同时数据集一般都是放在工程目录下的,推荐使用相对路径!
可以使用”JupyterLab“来看我们的工程再”服务器“上的状态!也是很好的可视化工具
这部分大家会用“labelme”标注数据文件,网上很多教程,就不在这里写了。
标注后的数据和Json文件会在一个文件夹下,使用Py脚本即可转换成上图的“Coco"格式。