昨天花了一天的时间去琢磨怎么去配置浪潮的实验环境,因为安全缘故,服务器并不联网,配置起来十分麻烦,一开始搞错了思路,后在自己的试错下,也算是成功配置了实验环境,在此给自己记录一下,需要一个和浪潮服务器环境相同的系统。
使用xftp接服务器
在数据管理的页面可以看到可以用自己的用户名和密码链接172.17.71.11:22从而连接服务器,注意这里的用户名为登录账号,密码却不是登录密码,点击该页面的复制密码,获取密码,在xftp上新建链接输入主机端口号,用户名和密码就可以连接到服务器,这样就可以上传和下载了
创建镜像资源
需要先创建一个镜像
在这里可以选择管理员或者其他用户上传的镜像环境
这里我使用的是我师兄分享的镜像资源,其他的环境我没有试着安装过(理论上都可以),选择一个合适的资源开始创建
这里因为我已经创建了一个环境了,个人可用资源已经用完,所以就不继续演示了,点击确定就行了,然后在开发环境里,就会有一栏显示你的开发环境,排队结束,点击环境名称栏,便可访问
安装anaconda
在清华源镜像地址,下载anaconda资源,比官网快很多,这里选择的版本看自己需求,我是下载的和我使用的linux系统相同版本的anaconda
用xftp上传到服务器,在终端输入
bash anaconda_******.sh # 后面是anaconda的安装包名
开始安装,安装过程就是按按回车,让你输yes or no,大部分输yes,有一步需要你安装vscoda,这里输no就行了,具体过程不懂可以搜搜怎么离线装anaconda,挺简单的就不细说了,安装完成可以用输入conda --version,测试是否安装成功,如果显示not found的话,则需要配置一下环境变量,首先得知道anaconda的安装路径,使用
echo 'export PATH="***/anaconda3/bin:$PATH"' >> ~/.bashrc # 注意路径前面的星号是自己服务器conda的安装路径
再使用source ~/.bashrc,让其立即其作用,再使用conda --version验证,如果还失败,则可能还没配置好,vim ~/.bashrc查看,注意路径有没有输错,我这里一开始写成的是"root/**",前面没再加"/",导致找不到,实际应该是"/root/**"。
打包anaconda环境
这里就需要一个和浪潮服务器环境相同的系统,我用的是组里的服务器,因为都是linux的,在一个有网络,并且相同环境下系统里面,安装相同版本的anaconda,配置好你需要的使用的python环境,这里创建环境和配置环境的过程就不多说了,环境创建完成且依赖安装完成之后退出到base环境环境。安装打包需要的依赖包:
conda install -c conda-forge conda-pack
然后开始打包刚刚创建的环境,使用
conda pack -n env -o env.tar.gz # env就是需要打包的环境 env.tar.gz打包的包名
然后就开始打包了,打包过程比较慢,打包完成之后,会保存到当前目录,用xftp将打包好的文件传到浪潮服务器,移动到服务器anaconda的安装路径的envs目录,创建文件夹
mkdir env # env为你需要创建的环境名
使用解压命令将打包好的环境解压到该文件夹内
tar -zxvf env.tar.gz -C env/
使用conda env list命令查看环境
如果列表里有刚刚解压的环境,就说明安装成功了,使用source activate 环境名 进入刚刚导入的环境就可以了(这里我激活的是base环境)
备注
因为是离线环境,在使用transformers等包的时候,需要下载预训练语言模型,建议在配置联网的服务器下好保存到文件夹,再传到服务器,最后直接加载路径就好了。
实际使用起来因为浪潮服务器的网络波动,导致终端很不稳定,建议使用nohup命令,让程序后台运行,日志保存为文件夹
nohup python name.py > log.out # name.py 是要运行的文件名,> 后跟保存的日志文件名