联想Lico+singularity容器制作+anaconda3安装教程

最近在使用联想Lico框架下的高性能计算平台
学校以后要扩建这个平台，现在就7个P4和两个P100
未来有更多显卡会加入(手动微笑)
这个平台不像自己电脑那样有可视化界面
为了方便管理和兼容不同环境下的训练需求
采用容器的方式规避不同框架和需求的包之间的冲突
目前Lico只支持singularity 2版本制作的镜像
这篇博文是用来引导如何安装使用singularity 2版本来制作私有镜像

---

singularity的github地址：传送门
若直接安装ver 3 直接按照里面的教程即可
要安装老版本的话，入口有点隐晦
同样放上ver2的地址：传送门

偷懒不想点链接的朋友可以看这里，我以Ubuntu16.04下安装2.5版本为例：

1. singularity安装

git clone https://github.com/sylabs/singularity.git

cd singularity

git fetch --all

git checkout 2.5.0

./autogen.sh

./configure --prefix=/usr/local

make

sudo make install

每个命令单独执行，执行过程中要确保每一步都成功才能进行下一步
特别是configure这一步，容易出现依赖包问题中断，
由于没有红字提醒，很容易忽视导致接下来无法make
期间还有其他的坑，欢迎讨论
当执行完上面的所有命令之后可以使用以下命令查看是否安装成功：

singularity --version

网上其他singularity的教程过老，github项目已经修改，找不到sh文件了，根据原来的方案无法成功安装，但是博主发文的这个日期2019.06.11已经用上了私有镜像了，所以教程可用，放心使用，未来会不会修改请根据我上面给出的官网的教程来自行调整即可。

2. 私有镜像的制作

1. 编写配置文件，准备从 docker 仓库中下载 ubuntu16.04 、 cuda9 、 cudnn7 基础镜像

Bootstrap: docker 
From:nvidia/cuda:9.0-cudnn7-devel-ubuntu16.04

2. 创建新的初始镜像(相当于新建一个子系统，但是没有可视化界面)

sudo singularity build image_name.simg config.def

3. 打开镜像文件

# 在test-dir文件夹下新建一个叫image_name.simg的镜像
sudo singularity build --sandbox test-dir image_name.simg

4. 编辑镜像

sudo singularity shell --nv -w test-dir

在镜像的子系统下，因为使用的初始镜像是Ubuntu16.04， 所以使用ubuntu的安装命令，一顿pip，一顿安装即可，我这里偷懒不想一个包一个包安装，在私有镜像中安装anaconda3，并且成功了，哈哈哈哈，以下给出在私有镜像中安装anaconda3的方法（不使用清华镜像，因为清华的anaconda镜像关了(很无奈啊，非常慢，但是总比自己一行一行pip强)）：

wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh

./Anaconda3-2019.03-Linux-x86_64.sh 

wget 后面的网址是在官网上找到自己系统对应的软件包的下载地址，具体操作就是悬停在下载按钮上方右键选择复制下载链接，这样就能将安装包下载到私有镜像本地，通过bash就能装上了，喜大普奔，不过速度太慢了，耗时3小时

后续的问题比如切换默认的python为anaconda的python：传送门
如何将清华镜像添加到pip中：传送门

5. 保存镜像

sudo singularity build name.simg test-dir

---

上面的一整个过程就产生了一个名为name.simg的私有镜像
这个私有镜像就能上传到Lico框架下的高性能计算平台下使用了