在服务器上训练faster-rcnn模型(pycharm和Termius)

本文介绍了在MacOS系统中,利用PyCharm的可视化界面和终端两种方式在服务器上进行模型训练,包括设置SSH连接、创建虚拟环境、上传数据集、代码修改以及会话管理等内容。
摘要由CSDN通过智能技术生成

本文主要介绍使用服务器训练模型的两种方式:pycharm(可视化界面友好)and终端,本人用的是macos系统,可能pycharm某些入口的位置不一样,本教程代码以faster-rcnn为例

准备工作:
1.知道自己所用服务器的账号和密码(ip、用户名、密码)
2.将项目下载到本地(自己电脑上)
3.下载专业版的pycharm(版本不要太高,windows可能会闪退)可以参考这位博主的Pycharm专业版安装详细教程!,至于破解的方法,自己去海鲜市场花一块多钱就搞定了。
4.下载ssh工具,我这里用的是Termius,win系统也可以下载

第一种方式:使用专业版pycharm

1. 导入项目文件

在这里插入图片描述

2.连接服务器
(1)打开pycharm的settings

在这里插入图片描述

(2)设置编译器

在这里插入图片描述

(3)添加新的编译器,点击add

在这里插入图片描述

(4)选择右侧SSH Interpreter

在这里插入图片描述

(5)输入账号和用户名,端口号,点击next

在这里插入图片描述

(6)跳转到输入密码的页面,输入服务器的密码,点击next

在这里插入图片描述

(7)仔细看下图,点击右侧按钮选择自己服务器对应的python编译器,点击finish

在这里插入图片描述
在这里插入图片描述

(8)直接看图

在这里插入图片描述

(9)可以看到服务器上该环境下的包或者库,注意:如果你是第一次使用服务器的话,你现在还没有创建自己的虚拟环境,这些是服务器原有的,点击ok,等你进行后续创建自己的虚拟环境时,需要重新选择miniconda3/envs/fast(你虚拟环境的名字)/bin/python3.8. ,and是bin文件夹下不是lib文件夹下

,点击

(3)看到服务器终端的操作:

在这里插入图片描述

选中自己的服务器

在这里插入图片描述
在这里插入图片描述

(10)右侧看到服务器的目录

在这里插入图片描述

然后就会在右侧看到服务器上的目录

在这里插入图片描述

3.将文件上传到服务器上指定文件夹

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.上传数据集

(1)可以和代码文件一样的方式上传可能有点慢
(2)使用ssh工具,我这里使用Termius

在这里插入图片描述

直接看图

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.创建虚拟环境

(1)在pycharm终端(服务器终端)

在这里插入图片描述
在这里插入图片描述

(2)下载需要的包
进入项目目录: 点击项目文件夹右键copy路径,然后在终端输入 cd 你copy的路径,这样就进入项目文件夹了,之后进行代码的运行就比较方便,如果你不进行这一步操作也没关系,但是你运行脚本的时候可能需要输入python /home/root1/data/miya/detr/main.py(路径随便举的例子),如果你提前已经输入cd /home/root1/data/miya/detr,接下来只需要python main.py。看你喜欢哪种方式吧,都是可以的。

在这里插入图片描述

安装需要的包,输入pip install -r requirements.txt,这样就会依次下载所需要的包或者库,注意:网络不好的时候可能下载到requiements.txt中的一个包或者库就会报错,没关系,重复输入pip install -r requirements.txt可以,也可以你自己按照requiements.txt里所需要的东西一个挨着一个pip install

在这里插入图片描述

6.修改代码,包括但不限于修改数据集路径,修改完成之后记得同步到服务器上
(1)本地代码修改之后右键会出现下图界面,按着操作

在这里插入图片描述

(2)下图是从右侧服务器目录里的文件直接修改,按着下图操作即可同步到服务器上

在这里插入图片描述

7.准备工作都做好,开始训练模型,直接上图

在这里插入图片描述

使用pycharm:可视化比较好,比如运行还是右键run,前提是你准备工作没问题(环境+代码+数据集)

第二种方式:使用终端工具

前面介绍数据集上传的时候也提到了用的是Termius,以及如何在pycharm跳转到服务器终端,接下来操作一下如何用命令行训练模型
(1)使用pycharm终端

在这里插入图片描述

(2)使用Termius训练

在这里插入图片描述

这里和pycharm终端操作是一样的,缺什么下载什么,环境搞好了之后输入运行命令

在这里插入图片描述

在Termius修改文件之后也记得保存

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

注意:本地修改不需要upload
训练模型可以总结为:环境+数据集+代码(一般很多错误都是环境引起的,当然不绝对)
此教程用的系统不是win,win上有很多传输数据集很快的工具,也有很多类似于Termius的工具,可以搜一搜,我个人比较喜欢直接在终端而不是右键run,因为有时候会有很多小bug,后者你可以自己打开pycharm选择服务器终端,而不需要左边本地和右边服务器完全一样,直接cd项目目录然后python train.py 有问题在右侧找相应位置,改完之后upload再运行即可。
补充一个小tips:
以上训练方式如果遇到断网或者网络不稳定,会导致训练断开,最糟糕的是没有保存权重,无法续上(so权重很重要),所以为了避免这种因为各种意外断开训练,我们可以创建一个会话,将其挂到服务器后台运行
1.创建会话
screen -S miya(会话的名字,自己随便起)
2.和上述操作一样,激活环境,训练模型,这时候你的模型已经在服务器后台训练了
3.分离会话:简单说就是你看不到运行界面了
ctrl+a d :按下ctrl+a+d回车
4.连接到已经分离的会话(重新看到运行界面)
screen -r miya
5.查看所有会话
screen -ls
6.删除会话
screen -X -S [会话名称或会话ID] quit
7.强制打开会话

有时候没有分离会话就把运行页面关掉了,这时候你连接会话会看到“Attached”
在这里插入图片描述
这时候强制连接会话,输入:

screen -D -r rt1(会话名字)

即可重新连接

基本上常用的就这几个,写的比较粗略,有别的问题大家可以搜索一下
  • 10
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Fast R-CNN是一种用于目标检测的深度学习模型,而Faster R-CNN是在Fast R-CNN的基础上进一步改进的模型Faster R-CNN引入了Region Proposal Network(RPN),使得模型可以自动生成候选区域,从而减少了手动选择候选区域的工作量。 要训练Faster R-CNN模型,需要以下步骤: 1. 准备数据集:首先,需要准备一个包含标注信息的数据集,其中包括图像和对应的目标边界框。可以使用标注工具,如LabelImg,来标注图像。 2. 配置网络:Faster R-CNN模型的网络结构由两部分组成:特征提取网络和目标检测网络。特征提取网络通常使用预训练的卷积神经网络(如VGG16、ResNet等),而目标检测网络包括RPN和Fast R-CNN。可以使用现有的深度学习框架(如TensorFlow、PyTorch)来配置网络。 3. 训练RPN:首先,使用标注的数据集训练RPN网络,以生成候选区域。RPN网络将输入图像映射到特征图,并在特征图上生成候选区域。 4. 训练Fast R-CNN:使用生成的候选区域和标注的目标边界框,训练Fast R-CNN网络。Fast R-CNN网络将输入图像和候选区域映射到特征向量,并使用这些特征向量进行目标分类和边界框回归。 5. 调参:为了获得最佳的检测性能,需要仔细调整网络的超参数和训练策略。可以尝试不同的学习率、批量大小、迭代次数等参数,并根据验证集的性能进行调整。 6. 测试和评估:在训练完成后,可以使用训练好的模型对新的图像进行目标检测。可以使用评估指标,如准确率、召回率和平均精度均值(mAP),来评估模型的性能。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值