联想Lico+singularity容器制作+anaconda3安装教程

最近在使用联想Lico框架下的高性能计算平台
学校以后要扩建这个平台,现在就7个P4和两个P100
未来有更多显卡会加入(手动微笑)
这个平台不像自己电脑那样有可视化界面
为了方便管理和兼容不同环境下的训练需求
采用容器的方式规避不同框架和需求的包之间的冲突
目前Lico只支持singularity 2版本制作的镜像
这篇博文是用来引导如何安装使用singularity 2版本来制作私有镜像


singularity的github地址:传送门
若直接安装ver 3 直接按照里面的教程即可
要安装老版本的话,入口有点隐晦
同样放上ver2的地址:传送门

偷懒不想点链接的朋友可以看这里,我以Ubuntu16.04下安装2.5版本为例:

1. singularity安装

git clone https://github.com/sylabs/singularity.git

cd singularity

git fetch --all

git checkout 2.5.0

./autogen.sh

./configure --prefix=/usr/local

make

sudo make install

每个命令单独执行,执行过程中要确保每一步都成功才能进行下一步
特别是configure这一步,容易出现依赖包问题中断,
由于没有红字提醒,很容易忽视导致接下来无法make
期间还有其他的坑,欢迎讨论
当执行完上面的所有命令之后可以使用以下命令查看是否安装成功:

singularity --version

网上其他singularity的教程过老,github项目已经修改,找不到sh文件了,根据原来的方案无法成功安装,但是博主发文的这个日期2019.06.11已经用上了私有镜像了,所以教程可用,放心使用,未来会不会修改请根据我上面给出的官网的教程来自行调整即可。

2. 私有镜像的制作

  1. 编写配置文件,准备从 docker 仓库中下载 ubuntu16.04 、 cuda9 、 cudnn7 基础镜像
Bootstrap: docker 
From:nvidia/cuda:9.0-cudnn7-devel-ubuntu16.04
  1. 创建新的初始镜像(相当于新建一个子系统,但是没有可视化界面)
sudo singularity build image_name.simg config.def
  1. 打开镜像文件
# 在test-dir文件夹下新建一个叫image_name.simg的镜像
sudo singularity build --sandbox test-dir image_name.simg
  1. 编辑镜像
sudo singularity shell --nv -w test-dir

在镜像的子系统下,因为使用的初始镜像是Ubuntu16.04, 所以使用ubuntu的安装命令,一顿pip,一顿安装即可,我这里偷懒不想一个包一个包安装,在私有镜像中安装anaconda3,并且成功了,哈哈哈哈,以下给出在私有镜像中安装anaconda3的方法(不使用清华镜像,因为清华的anaconda镜像关了(很无奈啊,非常慢,但是总比自己一行一行pip强)):

wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh

./Anaconda3-2019.03-Linux-x86_64.sh 

wget 后面的网址是在官网上找到自己系统对应的软件包的下载地址,具体操作就是悬停在下载按钮上方右键选择复制下载链接,这样就能将安装包下载到私有镜像本地,通过bash就能装上了,喜大普奔,不过速度太慢了,耗时3小时

后续的问题比如切换默认的python为anaconda的python:传送门
如何将清华镜像添加到pip中:传送门

  1. 保存镜像
sudo singularity build name.simg test-dir

上面的一整个过程就产生了一个名为name.simg的私有镜像
这个私有镜像就能上传到Lico框架下的高性能计算平台下使用了
在这里插入图片描述

  • 5
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值