离线浪潮(aiStation)服务器python代码环境配置(自用)

昨天花了一天的时间去琢磨怎么去配置浪潮的实验环境,因为安全缘故,服务器并不联网,配置起来十分麻烦,一开始搞错了思路,后在自己的试错下,也算是成功配置了实验环境,在此给自己记录一下,需要一个和浪潮服务器环境相同的系统。

使用xftp接服务器

 在数据管理的页面可以看到可以用自己的用户名和密码链接172.17.71.11:22从而连接服务器,注意这里的用户名为登录账号,密码却不是登录密码,点击该页面的复制密码,获取密码,在xftp上新建链接输入主机端口号,用户名和密码就可以连接到服务器,这样就可以上传和下载了

 创建镜像资源

需要先创建一个镜像

在这里可以选择管理员或者其他用户上传的镜像环境

 这里我使用的是我师兄分享的镜像资源,其他的环境我没有试着安装过(理论上都可以),选择一个合适的资源开始创建

 这里因为我已经创建了一个环境了,个人可用资源已经用完,所以就不继续演示了,点击确定就行了,然后在开发环境里,就会有一栏显示你的开发环境,排队结束,点击环境名称栏,便可访问

 安装anaconda

在清华源镜像地址,下载anaconda资源,比官网快很多,这里选择的版本看自己需求,我是下载的和我使用的linux系统相同版本的anaconda

Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirrorhttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

 用xftp上传到服务器,在终端输入

bash anaconda_******.sh # 后面是anaconda的安装包名

开始安装,安装过程就是按按回车,让你输yes or no,大部分输yes,有一步需要你安装vscoda,这里输no就行了,具体过程不懂可以搜搜怎么离线装anaconda,挺简单的就不细说了,安装完成可以用输入conda --version,测试是否安装成功,如果显示not found的话,则需要配置一下环境变量,首先得知道anaconda的安装路径,使用

echo 'export PATH="***/anaconda3/bin:$PATH"' >> ~/.bashrc # 注意路径前面的星号是自己服务器conda的安装路径

再使用source ~/.bashrc,让其立即其作用,再使用conda --version验证,如果还失败,则可能还没配置好,vim ~/.bashrc查看,注意路径有没有输错,我这里一开始写成的是"root/**",前面没再加"/",导致找不到,实际应该是"/root/**"。

打包anaconda环境

        这里就需要一个和浪潮服务器环境相同的系统,我用的是组里的服务器,因为都是linux的,在一个有网络,并且相同环境下系统里面,安装相同版本的anaconda,配置好你需要的使用的python环境,这里创建环境和配置环境的过程就不多说了,环境创建完成且依赖安装完成之后退出到base环境环境。安装打包需要的依赖包:

conda install -c conda-forge conda-pack

然后开始打包刚刚创建的环境,使用

conda pack -n env -o env.tar.gz # env就是需要打包的环境 env.tar.gz打包的包名

然后就开始打包了,打包过程比较慢,打包完成之后,会保存到当前目录,用xftp将打包好的文件传到浪潮服务器,移动到服务器anaconda的安装路径的envs目录,创建文件夹

mkdir env # env为你需要创建的环境名

使用解压命令将打包好的环境解压到该文件夹内

tar -zxvf env.tar.gz -C env/

使用conda env list命令查看环境

如果列表里有刚刚解压的环境,就说明安装成功了,使用source activate 环境名 进入刚刚导入的环境就可以了(这里我激活的是base环境)

备注

        因为是离线环境,在使用transformers等包的时候,需要下载预训练语言模型,建议在配置联网的服务器下好保存到文件夹,再传到服务器,最后直接加载路径就好了。       

        实际使用起来因为浪潮服务器的网络波动,导致终端很不稳定,建议使用nohup命令,让程序后台运行,日志保存为文件夹

nohup python name.py > log.out # name.py 是要运行的文件名,> 后跟保存的日志文件名

  • 7
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值