Docker镜像转Singularity镜像的全过程

最新推荐文章于 2024-04-27 17:25:05 发布
最新推荐文章于 2024-04-27 17:25:05 发布
阅读量4.6k 收藏 8
点赞数 3
分类专栏： Docker shell 文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39505820/article/details/122582164
版权

原本Docker镜像挺好用的，但是最近做项目需要用到超算的集群，Docker无法在上面用，需要将Docker镜像转为singularity镜像，所以下面我就来谈谈如何安装singularity工具，并将docker镜像转为singularity镜像，最后运行singularity容器。

目录

一、安装singularity

1、安装依赖

sudo apt-get update
sudo apt-get install -y \
    build-essential \
    uuid-dev \
    libgpgme-dev \
    squashfs-tools \
    libseccomp-dev \
    wget \
    pkg-config \
    git \
    cryptsetup-bin

2、安装GO

singularity使用Go编写，需要安装Go
在 https://golang.org/dl/ 下载合适版本的Go至 /usr/local。singularity3.0以上的版本需要下载Go 1.13以上的版本。比如我下载了go1.16.13.linux-amd64.tar.gz。下载完成后：

cd /usr/local
sudo tar -C /usr/local -xzf go1.16.13.linux-amd64.tar.gz
echo 'export GOPATH=${HOME}/go' >> ~/.bashrc
echo 'export PATH=/usr/local/go/bin:${PATH}:${GOPATH}/bin' >> ~/.bashrc
source ~/.bashrc

3、下载singularity

在https://github.com/sylabs/singularity/releases/查看需要的singularity的版本，然后把下载地址复制下来，选择一个空间大的盘，存下来：

wget https://github.com/sylabs/singularity/releases/download/v3.8.3/singularity-ce-3.8.3.tar.gz
tar -xzf singularity-ce-3.8.3.tar.gz

4、编译

cd singularity-ce-3.8.3
./mconfig --prefix=/opt/singularity  # 安装到某个目录下，建议选一个空间足够大的
make -C ./builddir
sudo make -C ./builddir install

编译到这一步可能会报错，类似于：

GEN GO DEP /singularity/builddir/starter.d
go: github.com/AdamKorcz/go-fuzz-headers@v0.0.0-20210319161527-f761c2329661: Get "https://proxy.golang.org/github.com/%21adam%21korcz/go-fuzz-headers/@v/v0.0.0-20210319161527-f761c2329661.mod": dial tcp 216.58.200.241:443: i/o timeout

这里是proxy.golang.org被墙了，需要把mlocal/frags/go_common_opts.mk文件里的GOPROXY :=这条设置进行修改，改成GOPROXY := https://goproxy.io,direct。如果还不行再把shell环境变量也改下export GOPROXY=https://goproxy.io,direct。
最后，如果输入singularity --help，可以得到如下信息，说明singularity安装成功了。

Linux container platform optimized for High Performance Computing (HPC) and
Enterprise Performance Computing (EPC)

Usage:
  singularity [global options...]

Description:
  Singularity containers provide an application virtualization layer enabling
  mobility of compute via both application and environment portability. With
  Singularity one is capable of building a root file system that runs on any 
  other Linux system where Singularity is installed.

Options:
  -c, --config string   specify a configuration file (for root or
                        unprivileged installation only) (default
                        "/usr/local/etc/singularity/singularity.conf")
  -d, --debug           print debugging information (highest verbosity)
  -h, --help            help for singularity
      --nocolor         print without color output (default False)
  -q, --quiet           suppress normal output
  -s, --silent          only print errors
  -v, --verbose         print additional information
      --version         version for singularity

Available Commands:
  build       Build a Singularity image
  cache       Manage the local cache
  capability  Manage Linux capabilities for users and groups
  completion  generate the autocompletion script for the specified shell
  config      Manage various singularity configuration (root user only)
  delete      Deletes requested image from the library
  exec        Run a command within a container
  help        Help about any command
  inspect     Show metadata for an image
  instance    Manage containers running as services
  key         Manage OpenPGP keys
  oci         Manage OCI containers
  overlay     Manage an EXT3 writable overlay image
  plugin      Manage Singularity plugins
  pull        Pull an image from a URI
  push        Upload image to the provided URI
  remote      Manage singularity remote endpoints, keyservers and OCI/Docker registry credentials
  run         Run the user-defined default command within a container
  run-help    Show the user-defined help for an image
  search      Search a Container Library for images
  shell       Run a shell within a container
  sif         Manipulate Singularity Image Format (SIF) images
  sign        Attach digital signature(s) to an image
  test        Run the user-defined tests within a container
  verify      Verify cryptographic signatures attached to an image
  version     Show the version for Singularity

Examples:
  $ singularity help <command> [<subcommand>]
  $ singularity help build
  $ singularity help instance start


For additional help or support, please visit https://www.sylabs.io/docs/

二、创建singularity镜像文件

1、外部源下载镜像

下载的指令有两条：一个是singularity build，另一个是singularity pull。

# 从Docker Hub下载：
singularity build ./jason-tensorflow.sif docker://tensorflow/tensorflow:latest-gpu
# 从Singularity Hub下载容器：
singularity pull hello.sif shub://vsoch/hello-world
# 从Container Library下载容器：
singularity build lolcow.sif library://sylabs-jms/testing/lolcow

2、本地源下载镜像

上面是从外部源下载镜像，但是很多时候我们希望的是自己本地的docker镜像能够转为singularity镜像，那么该如何做呢？

  1. 利用官方提供的工具docker-registry，构建私有的镜像仓库，registry也是一个镜像，先把它下载下来。
docker pull registry
  1. 利用registry构建私有仓库
docker run -d -p 5000:5000 -v /opt/data/registry:/var/lib/registry registry

默认情况下，仓库会被创建在容器的 /var/lib/registry 目录下。可以通过 -v 参数来将镜像文件存放在本地的映射路径。例如上面的例子，将上传的镜像放到本地的 /opt/data/registry 目录。

  1. 仓库创建完之后，后续上传的镜像会被放在本地映射的目录下，如上，是映射到 /opt/data/registry 上。然后，标记你要转化的镜像再上传。
# 查看本地有哪些镜像
docker images
# 标记成带有地址（127.0.0.1:5000）的镜像
docker tag ubuntu:latest 127.0.0.1:5000/ubuntu:latest
# 上传镜像到本地仓库
docker push 127.0.0.1:5000/ubuntu:latest
  1. 上传完之后，利用curl查看仓库中的镜像
curl 127.0.0.1:5000/v2/_catalog
{"repositories":["ubuntu"]}

如果看到 {“repositories”:[“ubuntu”]} ，表明镜像已经成功被上传到本地仓库了。

  1. 如果你希望内网里的其他主机也能push或pull当前主机仓库中的镜像，那就需要将127.0.0.1:5000替换为本主机的地址，例如192.168.199.100:5000，但是这样直接修改会报错，因为docker默认不允许非https的方式推送镜像。我们可以通过修改docker的配置选项来取消这个限制。
vim /etc/docker/daemon.json

在其中加入"insecure-registries": [“192.168.199.100:5000”]，如下所示。

{
    "registry-mirrors": [
        "https://cwoel6s9.mirror.aliyuncs.com"
    ],
    "graph":"/data1/docker",
    "storage-driver": "overlay",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    },
    "insecure-registries": [
        "192.168.199.100:5000"
    ]
}
  1. 重启docker服务
systemctl restart docker

三、使用singularity

1、启动容器

export SINGULARITY_TMPDIR=/home/user/tmp
export TMPDIR=/home/user/tmp

singularity instance start --nv -B /home:/home /home/user/singularity-images/image_name.sif container_name

singularity instance start类似于docker run，其他选项解析：

  • 两行export更改临时文件夹位置，防止/tmp存储溢出，因为在启动容器的过程中，会生成比较大的临时文件，而主机上默认的/tmp的空间较小，容易导致存储溢出问题，从而无法启动容器；
  • –nv 表示启动gpu支持；
  • -B 表示挂载，多个挂载用逗号隔开；
  • container_name是容器名。

2、查看已启动的容器

singularity instance list

3、进入和退出交互式界面

singularity shell instance://container_name
exit  # 在容器中退出

4、删除容器

singularity instance stop container_name

5、执行完退出

singularity exec ubuntu.simg bash -c  "pwd && id"
# output:
/home/admin
uid=1000(admin) gid=1000(admin) groups=1000(admin),10(wheel)

参考

[1] Ubuntu singularity安装
[2] Singularity日常使用
[3] 私有仓库
[4] 将本地docker镜像转为singularity镜像
[5] singularity基本用法

Surpassall
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
查看docker镜像中文件的方法
01-20
怎么查看docker镜像中的文件 一、如果是已运行的 对于已经运行的镜像，我们可以通过其ContrainerID来查看 docker attach ContainerID 这种方式，需要对应的container是运行中的，不处于stop状态 二、如果未运行 对于未运行的，可以把Docker镜像中的文件复制到宿主来看，命令示意如下： docker cp <容器名称>:<路径> <主机路径> 如： sudo docker cp nginx-ubuntu-container:/etc/apt/sources.list ~/Documents/ 这种方式，不需要对应的container是运
Docker镜像（本地tar文件）创建Singularity镜像（SIF文件）报错：FATAL: While performing build: conveyor failed to get: l
WLDLSW的博客
08-12 545
Docker镜像（本地tar文件）创建Singularity镜像（SIF文件）报错：FATAL: While performing build: conveyor failed to get: loading tar component manifest.json: archive/tar: invalid tar header解决办法
从Docker镜像创建Singularity镜像（SIF文件）
水木的编程生涯
08-15 3412
Singularity可以方便地处理Docker镜像，以下是三种方式： 方式1：从docker uri开始 参考：https://sylabs.io/guides/3.7/user-guide/singularity_and_docker.html#remotely-hosted-images 有以下两个命令可用： singularity pull docker://godlovedc/lolcow # 下载pre-built image singularity build mylolcow_latest.
Singularity（三）| 将docker转化为singularity容器
long_1998的博客
03-12 987
如果准备使用的 Docker 镜像已经上传到 Docker Hub (https://hub.docker.com/) 或 Quay (https://quay.io/) 等 Docker 托管存储库中，我们可以直接下载并将其转化为 Docker 容器。然而，在测试和调试期间，我们一般会需要一个可改写的沙箱（sandbox）格式（实际上就是一个目录）。对于想移植到其它主机上的 Docker 镜像，例如，biobakery/lefse，镜像ID为 c6ab05d10f7f，使用。
containerize-conda：将现有的conda环境转换为Docker或Singularity容器
03-03
容器化现有的conda环境 我使用conda环境来进行数据分析项目。 有时，如果软件包不在bioconda或conda-forge上，则需要恢复使用pip或R的install.packages进行安装。 这使得很难在另一个系统上重现环境以及分析。 甚至存储为environment.yml文件的纯conda环境也可能损坏。 使用以下说明，可以将现有环境打包到Docker或Singularity容器中，该容器应具有更高的可移植性，并且还可以轻松地集成到基于的。 先决条件 Docker，Podman或Singularity 源conda环境必须在linux x64机器上。 用法 包装环境 conda-pack -n <MY> -o packed_environment.tar.gz 建造容器 # With singularity singularity build --fakero
miniconda docker镜像
08-25
miniconda官方镜像，安装了cron ssh vim 启动方式 docker run -p 8822:22 -v /F/envs:/opt/conda/envs -v /F/IdeaProjects:/tmp/code -d -t -i miniconda:geovis /bin/bash
Singularity实践教程 + Docker 转 Singularity 的避坑指南
Qy_sfsh的博客
07-08 8450
因研究需要，复现某论文，使用的是某校的服务器集群。他们服务器使用的容器是Singularity，而之前自己在院里用的时docker。docker学了没多久，就开始Singularity。恰恰是会一点docker，所以在转用singularity的过程中，踩的坑比较多（造孽啊）。记录一下，前事不忘，后世之师.........
建立本地私有库 docker registry
chouwuzhu3011的博客
10-08 138
参考：https://docs.docker.com/registry/deploying/ 环境：docker 1.12.6 @centos7 @vmware10 docker run -d -p 5000:5000 --restart=always --name registry regi...
踩坑 | docker 镜像转换为 singularity 容器
刘永鑫的博客——宏基因组公众号
04-13 398
前述，我用 docker 制备了一个汇集多个生信软件的容器，其中一部分软件直接用apt-get install XXXX完成。这部分软件，理所当然会自动映射绕容器的/usr/bin目录。对应的，当docker镜像转换为 singularity 容器后，我们可以直接在singularity shell YYYY.sif后直接访问对应程序。但是，我还有一份部分软件，为了方便，全部放在docker镜...
Ubuntu 22.04.3 LTS中安装singularity
weixin_44719529的博客
11-07 1383
以下这篇blog介绍了singularity容器。浅谈Singularity容器。
玩转Docker镜像
03-03
Docker是基于Go语言开发，通过分层镜像标准化和内核虚拟化技术，使得应用开发者和运维工程师可以以统一的方式跨平台发布应用。镜像是Docker最核心的技术之一，也是应用发布的标准格式。Docker是Docker.Inc公司开源的一个基于轻量级虚拟化技术的容器引擎项目,整个项目基于Go语言开发，并遵从Apache2.0协议。通过分层镜像标准化和内核虚拟化技术，Docker使得应用开发者和运维工程师可以以统一的方式跨平台发布应用，并且以几乎没有额外开销的情况下提供资源隔离的应用运行环境。由于众多新颖的特性以及项目本身的开放性，Docker在不到两年的时间里迅速获得诸多IT厂商的参与，其中更是包括
go-fuzz-headers
03-12
去模糊头
redis离线docker镜像
05-12
docker redis镜像 用于在docker中导入redis的镜像 执行docker load -i redis.tar 即可完成导入操作
路由器本地docker 下载node容器部署 thressjs文档
大青虫的博客
04-24 345
1. 每次启动本地文档太麻烦 ，路由器刚好支持docker（tp-link6088） ，部署上去自启动。
docker 资源控制
最新发布
wys_jj的博客
04-27 235
docker run -cpu-period #设置调度周期时间1000~1000000-cpu-quota #设置容器进程的CPU占用时间，要与调度周期时间成比例--cpu-shares #设置多个容器之间的CPU资源占用比--cpuset-cpus #绑核（第一个CPU编号从0开始）
Docker 网络与资源控制
MCB134的博客
04-24 1272
docker network ls 或 docker network listhelp在容器中需设置虚拟IP地址才能用docker1 为执行 ifconfig -a 命令时，显示的网卡名，如果不使用 --opt 参数指定此名称，那你在使用 ifconfig -a 命令查看网络信息时，看到的是类似 br-110eb56a0b22 这样的名字，这显然不怎么好记。mynetwork 为执行 docker network list 命令时，显示的bridge网络模式名称。
linux 关闭不了docker服务
zhangxu1998lq的博客
04-24 398
（如果它当前没有运行）。这就是为什么即使你停止了 Docker 服务，它仍然有可能被通过套接字激活的原因。如果你希望完全确保 Docker 服务不再运行，并且不能被套接字单元自动激活，你需要同时禁用和停止。是一个套接字单元，用于监听 Docker 的 API 请求。当这个套接字接收到请求时，它会激活。在 systemd 系统中，服务和套接字是分开管理的。先停止docker套接字。再停止docker就行了。
Docker从无到有
weixin_54505261的博客
04-26 994
docker的理解，到windows下docker的安装以及docker的挂载
将docker镜像转成Dockerfile
06-06
你可以使用 `docker export` 命令将 Docker 镜像转换为 tar 文件，然后再使用 `docker import` 命令将 tar 文件导入为 Docker 镜像。然而，这种方式并不能直接将 Docker 镜像转换为 Dockerfile，因为 Dockerfile 中包含的信息比 Docker 镜像中的信息更加详细。 如果你需要将 Docker 镜像转换为 Dockerfile，可以使用 `docker inspect` 命令来获取 Docker 镜像的详细信息，然后手动编写 Dockerfile。以下是一个示例： 1. 使用 `docker inspect` 命令获取 Docker 镜像的详细信息，并将输出保存到一个文件中： ``` docker inspect <image_name> > image_info.json ``` 2. 打开 `image_info.json` 文件，查找以下信息： - 镜像的基础镜像（`Parent` 字段）； - 镜像的操作指令（`ContainerConfig.Cmd` 字段）； - 镜像的环境变量（`ContainerConfig.Env` 字段）； - 镜像的文件系统（`ContainerConfig.Volumes` 字段）； - 镜像的元数据（`ContainerConfig.Labels` 字段）。 3. 根据上述信息编写 Dockerfile，并使用 `docker build` 命令构建 Docker 镜像。 需要注意的是，通过这种方式转换的 Dockerfile 可能会比较简单，因为它可能无法包含一些细节信息，例如容器中的中间层镜像、文件权限等。因此，你可能需要手动对 Dockerfile 进行优化和完善。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值