Docker使用心得

Docker使用心得

---

最近使用Docker比较频繁，特此想记录一下，方便后续查找。

• Docker常用命令
• Docker如何配置使用GPU环境？
• 如何使用Dockerfile构建镜像？
• 如何使用docker compose 实例化容器？

Docker如何配置使用GPU环境

参考以下博客：
https://blog.csdn.net/walkskyer/article/details/136224041

Docker常用命令

docker ps -a # 查看docker所有进程
docker logs [容器ID/容器名] # 查看容器日志
docker inspect [容器ID/容器名] # 查看容器配置
docker start/stop/restart [容器ID/容器名] # 启动/停止/重启容器
docker images # 查看所有镜像
docker rm [容器ID/容器名] # 删除某个容器
docker stats [容器ID/容器名] # 查看容器资源占用状况
# 实例化容器
# -itd: 交互式后台运行
# --gpus all: 开启所有GPU访问
# --restart=always: 随docker启动时启动
# --network=bridge 设置网络为桥接模式
# -p: 配置端口映射, 宿主机端口：容器内端口，多个映射可传多个-p参数
# --name: 配置容器名
# -e: 环境设定,
#   TZ="Asia/Tokyo" 设置时区为东京
# -v：配置容器和宿主机路径映射关系, 宿主机路径：容器内路径, 多个映射可传多个-v参数
docker run -i -t -d --gpus all --restart=always --network=bridge -p 80:5306 --name [容器名] -e TZ="Asia/Tokyo" -v ./app:/app -v ./docker/start.sh:/app/start.sh [镜像名]:[版本号] [启动时执行的脚本或命令]
# 进入容器内部
docker exec -it --user=root [容器ID/容器名] /bin/bash

如何使用Dockerfile构建镜像

---

1、编写dockerfile文件
参考以下示例：

# 指定基础镜像，需要结合实际情况选定
FROM nvidia/cuda:11.7.1-devel-ubuntu20.04

# 安装额外的环境依赖
RUN chsh -s /bin/bash
SHELL ["/bin/bash", "-c"]
RUN apt-get update && \
    apt-get install -y curl && \
    apt-get install -y g++-9  && \
    apt install -y git
RUN apt-get install -y libgl1-mesa-glx 
RUN export DEBIAN_FRONTEND=noninteractive && apt-get install -y libglib2.0-0
RUN export CC=gcc-9
RUN export CXX=g++-9
# 安装conda3
RUN curl "https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh" -o /anaconda.sh && \
        /bin/bash /anaconda.sh -b -p /opt/conda && \
        rm /anaconda.sh && \
        ln -s /opt/conda/etc/profile.d/conda.sh /etc/profile.d/conda.sh && \
        echo ". /opt/conda/etc/profile.d/conda.sh" >> ~/.bashrc
ENV PATH /opt/conda/bin:/opt/conda/condabin:$PATH
# 将文件临时映射到镜像内
ADD ./environment.yaml /tmp/data/

# 创建虚拟环境
RUN conda env create -f /tmp/data/environment.yaml
RUN echo "conda activate igpt_bfs" >> ~/.bashrc
ENV PATH /opt/conda/envs/igpt_bfs/bin:$PATH

# 安装python相关依赖
ADD . /tmp/data/
RUN source activate igpt_bfs && pip install pybind11 && conda env list
RUN pip install -r /tmp/data/igpt-pip.txt

# 离线安装所需三方软件包
RUN cd /tmp/data/hnswlib/ && python setup.py install
RUN cd /tmp/data/detectron2/ && python setup.py install
RUN apt-get install -y  build-essential  git  libde265-dev  libdjvulibre-dev  libfftw3-dev  libghc-bzlib-dev  libgoogle-perftools-dev  libgraphviz-dev  libgs-dev  libheif-dev  libjbig-dev  libjemalloc-dev  libjpeg-dev  liblcms2-dev  liblqr-1-0-dev  liblzma-dev  libopenexr-dev  libopenjp2-7-dev  libpango1.0-dev  libraqm-dev  libraw-dev  librsvg2-dev  libtiff-dev  libwebp-dev  libwmf-dev  libxml2-dev  libzip-dev  libzstd-dev
RUN cd /tmp/data/ImageMagick-7.1.1-11 && ./configure && make && make install && ldconfig /usr/local/lib
RUN pip uninstall -y xformers && pip install xformers==0.0.16rc425

2、构建镜像

docker build -t [镜像名:版本] [dockerfile文件所在的路径] 
参考：
docker build -t advsiement-generation:v1 .  # . 代表当前路径

如何使用docker compose 实例化容器

---

1、编写compose.yaml文件
参考以下配置：

services:
  advertisement-generation:
    container_name: kozuchi-advertisement-generation # 指定实例化的容器名
    image: advertisement-generation:v1 # 指定镜像名和版本号
    restart: always                                  # 配置容器随docker启动
    ports:                                                  # 配置容器端口映射
      - 80:5306
    environment:
      - TZ=Asia/Tokyo                              # 指定时区
      - NVIDIA_VISIBLE_DEVICES=all    # 配置gpu
    volumes:                                            # 配置容器路径映射
      - ../InternGPT:/app                         # 注意使用相对路径
      - ../docker/start.sh:/app/start.sh
    command: /app/start.sh  # 容器启动时执行命令或脚本
    deploy:
      resources:
        reservations:
          devices: # 配置gpu
            - driver: nvidia
              capabilities: [gpu]

2、实例化容器
-d：守护进程运行，测试时可省略方便查看日志

docker compose up [-d] # 有些时候需要使用 docker-compose