摩智算平台下Faster R-CNN模型的训练与测试全面解析

最新推荐文章于 2024-09-26 17:23:00 发布

达不溜方

最新推荐文章于 2024-09-26 17:23:00 发布

阅读量919

点赞数 13

分类专栏：机器学习与AI 文章标签： cnn 人工智能神经网络机器学习深度学习卷积神经网络计算机视觉

本文链接：https://blog.csdn.net/2301_77514963/article/details/142529650

版权

机器学习与AI 专栏收录该内容

19 篇文章 0 订阅

订阅专栏

`丹摩简介`

链接：https://www.damodel.com/console/overview

DAMODEL（丹摩智算）是专为 AI 打造的智算云，致力于提供丰富的算力资源与基础设施助力 AI 应用的开发、训练、部署。

文章前言

在计算机视觉领域，目标检测作为一项核心技术，旨在从图像或视频中自动识别出特定类别的对象，并同时定位这些对象的位置。随着深度学习技术的飞速发展，目标检测算法的性能得到了显著提升，其中Faster R-CNN（Faster Regions with Convolutional Neural Networks）无疑是这一领域的一个里程碑式成果。自其问世以来，Faster R-CNN凭借其高效、准确的特点，在学术研究和工业应用中均展现出了强大的生命力。

Faster R-CNN的简介

在Faster R-CNN之前，目标检测算法如R-CNN和Fast R-CNN虽然已经取得了显著进展，但仍存在计算效率低下的瓶颈。这些算法在生成候选区域（Region Proposals）时，往往需要依赖传统的图像处理方法，如Selective Search，这一过程不仅耗时，而且难以与后续的深度网络训练过程有效融合。Faster R-CNN的提出，正是为了解决这一问题，它创新性地引入了区域建议网络（Region Proposal Network, RPN），实现了候选区域的快速生成，并与检测网络共享卷积特征，从而极大地提高了检测速度和精度。

Faster RCNN的训练与测试

训练Faster R-CNN涉及多个步骤，包括特征提取网络的预训练、RPN网络的训练、以及整个检测网络的联合训练。在测试阶段，Faster R-CNN能够高效地处理输入图像，快速生成高质量的候选区域，并准确地对这些区域进行分类和定位。

本文旨在深入探讨Faster R-CNN的训练与测试过程，从数据准备、网络架构细节、训练策略到测试评估，全面解析这一经典算法的工作原理与性能优化方法。通过本文，读者将能够深入理解Faster R-CNN的精髓，并为其在目标检测任务中的实际应用提供有力支持。

提前准备

1.1 mobaxterm（远程连接服务器）

链接：https://mobaxterm.mobatek.net/download-home-edition.html

在这里插入图片描述

1.2 本文的源码下载

点击下载源代码

目标检测模型 Faster-Rcnn

2.1云服务器平台

第一步：创建实例，选择 4090 显卡，并且下载私钥

在这里插入图片描述

进入创建页面后，首先在实例配置中选择付费类型，一般短期需求可以选择按量付费或者包日，长期需求可以选择包月套餐；其次选择单卡或多卡启动，然后选择需求的GPU型号，首次创建实例推荐选择：按量付费–GPU数量1–NVIDIA-GeForc-RTX-4090，该配置为60GB内存，24GB的显存。

在这里插入图片描述

继续往下翻，配置数据硬盘的大小，每个实例默认附带了50GB的数据硬盘，首次创建可以就选择默认大小50GB，可以看到，平台提供了一些基础镜像供快速启动，镜像中安装了对应的基础环境和框架，这里选择PyTorch1.13.1的框架启动。
在这里插入图片描述

点击创建密钥对，输入自定义的名称，然后选择自动创建并将创建好的私钥保存的自己电脑中并将后缀改为.pem，以便后续本地连接使用。
在这里插入图片描述

创建好密钥对后，选择刚刚创建好的密钥对，并点击立即创建，等待一段时间后即可启动成功！

数据上传

DAMODEL（丹摩智算）还提供了数据上传功能，用户有20GB免费存储空间，该空间被挂载到实例的/root/shared-storage目录，跨实例共享。首先点击文件存储，点击上传文件。
在这里插入图片描述

然后选择本机待上传的文件/文件夹，上传时尽量保持该界面首页显示，等待上传成功后再进行其他操作。
在这里插入图片描述

内置JupyterLab的使用

创建好实例后，可以看到平台提供了在线访问实例的JupyterLab入口，JupyterLab是一个交互式的开发环境，具有灵活而强大的用户界面。用户可以使用它编写 notebook、操作终端、编辑 markdown 文本、打开交互模式、查看 csv 文件及图片等。

在这里插入图片描述

点击进入JupyterLab后，通常情况下，左侧文件资源管理器与右侧控制台默认显示的是/root/workspace下的文件资源

服务器各个路径具体意义如下：

/：系统盘，替换镜像，重置系统时系统盘数据都会重置。
/root/workspace：数据盘，支持扩容，保存镜像时此处数据不会重置。
/root/shared-storage：共享文件存储，可跨实例存储。
其他步骤与JupyterLab的使用流程一致，推荐参考：
官网教程–Jupyter Lab官方文档【英文】：https://jupyterlab.readthedocs.io/en/latest/
优质博客–Jupyter Lab操作指南【中文】：https://blog.csdn.net/qq_44275213/article/details/139971514

本地连接使用DAMODEL实例

本章将演示说明如何在DAMODEL平台上找到实例的SSH访问信息，以及通过三种不同方法本地连接DAMODEL实例。

获取实例的SSH访问信息

首先需要进入DAMODEL控制台复制SSH的访问链接，获取主机host以及端口号：
复制SSH登录指令

ssh -p 31729 root@gpu-s277r6fyqd.ssh.damodel.com

用户名为root
主机host为gpu-s277r6fyqd.ssh.damodel.com
端口号为31729
将以上参数记录好，后续需要使用

通过SSH连接

首先打开cmd命令提示符，cd进入刚刚存下私钥的文件夹目录：
在这里插入图片描述

然后使用以下ssh命令连接服务器：

ssh -i <私钥文件名> -p <端口号> <用户名>@<host地址>

在这里插入图片描述

如果嫌每次需要载入密钥文件麻烦，可以将密钥设置为本地默认ssh密钥，首先编辑或创建~/.ssh/config文件（位于用户主目录下，Windows一般为C:\Users<你的用户名>.ssh\config）
并添加以下配置：

#Host          {命名的服务器信息}  #可以是任意值，仅在ssh生效，别名不限制。
#HostName      {目标服务器IP}
#Port          {目标服务器端口}
#User          {目标服务器目标用户}
#IdentityFile  {密钥文件的路径}


Host damodel1 #输入你想用的任意别名，使用空格分开
HostName gpu-s277r6fyqd.ssh.damodel.com #输入服务器Host
Port 31729 #输入服务器端口
User root
IdentityFile C:\Users\**\Desktop\ss\private_key.pem #输入密钥文件的路径

#注意结束加空行

之后，就可以直接在cmd输入ssh damodel1，直接完成服务器连接了。

通过MobaXterm连接

首先打开MobaXterm软件，点击左上方Session按钮创建一个新的Session，并选择通过SSH连接登录。
在这里插入图片描述

在这里插入图片描述
然后将刚刚记录的主机host填入R额模特host当中，端口号填入Port中，配置基础的SHH设置，然后点击下方Adavanced SSH settings选择高级SSH设置，勾选使用私钥登录，并将1.1中与实例绑定过的私钥导入其中。
点击ok后，即可看到成功创建了session，输入刚刚记录的用户名root，0即可连接0成功。