当谈及深度学习领域时,云服务器扮演着至关重要的角色。在这个计算密集型的领域,需要大量的计算资源来支持训练复杂的深度神经网络模型。云服务器为研究人员和数据科学家提供了按需、可扩展的计算能力,使他们能够快速执行训练任务,而无需投资昂贵的本地硬件基础设施。
除了原始计算能力外,许多云服务器提供商还整合了各种深度学习框架和工具,简化了模型开发和部署过程。用户可以利用预配置的环境,专注于算法和模型开发,而无需花费大量时间进行基础设施配置。
对于大学生而言,深度学习方向是课程设计或毕业设计的选择之一,如果自己没有搭载高性能GPU和CPU的电脑或服务器,使用云服务器训练深度学习模型成为了一个绝佳的选择。
趋动云注册链接:趋动云
以上为我的注册邀请链接,在注册成功后会赠送用户100点算力作为免费额度。
环境配置:
1 创建项目
在主页右上角点击创建项目
输入项目名
进入初始化开发环境
资源配置中是CPU和GPU的规格,根据自己的需求选择 (模型的大小、数据集的规模)
添加镜像 ,同样是根据自己的需求(使用哪种深度学习框架和框架版本、CUDA版本)
![](https://img-blog.csdnimg.cn/img_convert/3abd9e16ddf728626b1832474e87ed52.png)
添加数据,若没有数据需要先创建数据 ,创建完毕后上传数据
对于较大的数据集,建议使用SFTP传输
可以查看下面的SFTP使用指南,我这里使用WinSCP作为传输工具
![](https://img-blog.csdnimg.cn/img_convert/f794addf0568343c3cce245bbfdd8b15.png)
其中,传输地址对应的是主机名
将你想上传的文件/文件夹拖拽到右半部分即可
上传完成后保存,然后上传代码
![](https://img-blog.csdnimg.cn/img_convert/e38091c3980dc1ad1a9880a27b022a83.png)
可选择网页上传或SFTP
2 环境配置
选择好资源配置、镜像和数据集后,启动环境
你上传的数据集和代码的位置如下图所示
若你上传的是压缩文件,则可以在命令行中进入到该文件所在目录,输入以下指令解压文件(以zip文件为例)
unzip filename
完成后开始配置环境,建议先pip换源
pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple
pip install package
自行修改代码和参数,然后可以开始在命令行执行训练了
3 退出
环境启动期间会一直消耗算力点,不再使用项目时,需要将环境镜像保存后停止环境
建议一次性就将环境配置好,避免多次修改环境后重复构造镜像
趋动云服务器也可支持SSH远程连接和离线训练
4 离线训练
08.14 2024更新
在项目界面,点击训练
然后点击右上角的提交任务
依次填写任务名、选择挂载code和dataset、资源配置、填写启动命令、选择环境镜像
需要注意的是:启动命令有多种方式
#存储路径未使用环境变量的启动命令
python3 /gemini/code/train_images.py --mode train --model mobileNet --num_epochs 1 --batch_size 8 --data_dir /gemini/data-1/DogsvsCats --train_dir /gemini/output
#存储路径使用环境变量的启动命令
python3 $GEMINI_RUN/train_images.py --mode train --model mobileNet --num_epochs 1 --batch_size 8 --data_dir $GEMINI_DATA_IN1/DogsvsCats --train_dir $GEMINI_DATA_OUT
或者按照自己的方式
cd /path/to/code
python train.py
训练输出路径务必设置为/gemini/output
训练进行时或训练完成后,可以点击任务详情查看训练输出
趋动云注册链接:趋动云