1.创建项目
填写完需要的信息后,点击“创建项目”即可。
进入到下面这个界面
2.创建调试任务
点击“新建调试任务”
算力集群推荐选择“智算网络集群”
新建项目的时候必须要选择镜像,可以根据自己的需要选择合适的镜像。可以把原镜像的安装包删除,在配置好自己所需的环境后,上传自己的镜像,这样下次则无需重复配置。
等待调试任务创建完成
点击“调试”,进入调试页面
3.上传代码
进入“terminal”
新建一个test文件夹,模拟上传的代码。
bash //输入bash
平台更新20240310
需要在代码中加入代码如下:
# 导入包
from c2net.context import prepare, upload_output
# 初始化导入数据集和预训练模型到容器内
c2net_context = prepare()
# 获取代码路径,数据集路径,预训练模型路径,输出路径
code_path = c2net_context.code_path
dataset_path = c2net_context.dataset_path
pretrain_model_path = c2net_context.pretrain_model_path
you_should_save_here = c2net_context.output_path
# 回传结果,只有训练任务才能回传
upload_output()
其中code_path就是/tmp/code,自己上传的数据集所在的目录就是dataset_path,即/tmp/dataset,
举例子:如果自己上传的项目文件名是test,那么你的项目文件路径就是
/tmp/code/test/,即code_path+“test”
新建调试任务进入的jupyter页面相当于Git中的本地,项目列表中的项目相当于Git中的远程仓库。
# 在本地初始化一个git仓库
git init
#
git remote add origin 自己的项目地址https://openi.pcl.ac.cn/liyaya/demo.git
查看自己的项目地址
# 强制合并,拉取远程的代码
git pull origin master --rebase
# 把所有本地的文件添加到暂存区中
git add *
# 进行提交
git commit -m "first commit"
# 推送到远程的master分支
# 需要输入启智平台的用户名和密码
git push -u origin master
(在后面加上-f 是强制提交,会把原来的修改都覆盖掉,慎用)
进入到远程仓库中刷新,可以看到代码已经更新
代码、数据集、依赖都安装完成后,就可以通过./脚本文件 、 python main.py等方式执行程序。
4.保存镜像
点击“提交镜像”即可
5.如何查看自己创建的项目?
点击“个人信息”
点击“项目列表”
—道阻且长,行则将至。—
补充
6.进入原来创建的调试任务后
此时左侧列表中有两个文件,kgc是你上次进行调试的代码,不是当前代码仓库中最新的代码。
先删除kgc文件夹,
# 删除文件夹
rm -rf 文件目录
再解压缩master.zip压缩包,得到当前代码仓库中最新的代码。
unzip master.zip
补充:
1.在调试任务中,JupyterLab界面保存修改后的文件,报错:
'_xsrf' argument missing from POST
解决办法: 刷新当前浏览器的页面
2.执行命令权限不够:
解决办法:
chmod u+x *.sh
补充:
当github的代码中给出的运行命令是
python main.py --参数名 参数值 --参数名 参数值
当需要新建训练任务的时候,不需要逐个填入参数,
新建一个start.py文件
import os
os.system("python ************")
把start.py当做启动文件
补充:
不能在调试页面上传超过15MB的压缩包或者文件
如何上传较大数据集的方法,见这篇博客:
如何在启智平台上传较大数据集