DatawhaleTL24 | Docker Task05：Docker-Compose

compose 是 Docker 官方的开源项目，用于实现 容器集群 的快速编排。其定位是：定义和运行多个 Docker 容器的应用。

在实际工作中，单个容器很难完成项目，一般需要多个容器配合才能完成。compose 专门应对这种需求。

1. 什么是 compose ？

compose 就是一个可实现多容器关联协作以完成某个项目的服务架构。

compose 有两个重要的概念：

• 服务 ( service )：一个应用容器，实际上可以运行多个相同镜像的实例。
• 项目 ( project )：由一组关联的应用容器组成的一个完整业务单元。在 docker-compose.yml 文件中定义。

下面，我们通过一个完整的实例来实践一下 docker-compose 使用的全流程

2. docker-compose 应用实例

下面我们用 Python 来建立一个能够记录页面访问次数的 web 网站。

docker-compose 应用可以概括为如下几个步骤：
①：主体文件编写，这里对应 app.py

from flask import Flask
from redis import Redis

app = Flask(__name__)
redis = Redis(host='redis', port=6379)

@app.route('/')
def hello():
    count = redis.incr('hits')
    return 'Hello World! 该页面已被访问 {} 次。\n'.format(count)

if __name__ == "__main__":
    app.run(host="0.0.0.0", debug=True)

②：Dockerfile 文件编写

FROM python:3.6-alpine
ADD . /code
WORKDIR /code
RUN pip install redis flask
CMD ["python", "app.py"]

③：docker-compose.yml 编写

version: '3'
services:

  web:
    build: .
    ports:
     - "5000:5000"

  redis:
    image: "redis:alpine"

④：compose 项目运行

docker-compose up

此时访问本地 5000 端口（ http://localhost:5000 ），每次刷新页面，计数就会加 1。

3. docker-compose 基本使用

3.1 启动服务

创建好 docker-compose.yml 文件后，可以通过下面这个命令将文件中定义的容器都启动起来

docker-compose up

命令后会自动接一个默认值 -f docker-compose.yml ，代表默认使用 docker-compose.yml 构建服务。

这种方式会将服务启动时的所有输出打印到屏幕，-d 参数可以简化屏幕输出。

3.2 查看服务状态

查看最新的 compose 服务状态命令：

docker-compose ps

查看所有的 compose 服务状态命令：

docker-compose ps -a

3.3 进入服务

有些情况下我们还需要进入容器来执行一些命令，可以通过如下方式进入容器：

docker-compose exec mysql bash

exec后面接的就是我们要进入具体的service的名字，名字后面就是我们要执行的命令。

此处未能实践。

3.4 查看服务输出日志

有些情况下一些服务可能无法正常启动，这时可以使用命令查看日志并定位发生错误的原因。

docker-compose logs

上述命令可以看到完整的启动日志。

3.5 停止或删除服务

停止 compose 服务命令如下，停止后的状态是 Exit

docker-compose stop

停止并删除 compose 服务命令：（ service，volume和network 一并删除）

docker-compose down

4. compose 模板文件

这里，我们来回顾一下实例中使用的 docker-compose.yml：

version: '3'
services:

  web:
    build: .
    ports:
     - "5000:5000"

  redis:
    image: "redis:alpine"

这个就是 compose 使用的主模板文件。需要注意的是：每个服务都必须通过 image 指定镜像或者 build 指令（需要 Dockerfile 文件）等来自动构建生成镜像。

如果使用 build 指令，在 Dockerfile 中设置的选项(例如：CMD, EXPOSE, VOLUME, ENV 等) 将会自动被获取，无需在 docker-compose.yml 中重复设置。

下面分别介绍各个指令的用法。

4.1 build

指定 Dockerfile 所在文件夹的路径（可以是绝对路径，或者相对 docker-compose.yml 文件的路径）。 Compose 将会利用它自动构建这个镜像，然后使用这个镜像。

version: '3'
services:

  webapp:
    build: ./dir

你也可以使用 context 指令指定 Dockerfile 所在文件夹的路径。使用 dockerfile 指令指定 Dockerfile 文件名。使用 arg 指令指定构建镜像时的变量。

version: '3'
services:

  webapp:
    build:
      context: ./dir
      dockerfile: Dockerfile-alternate
      args:
        buildno: 1

使用 cache_from 指定构建镜像的缓存。

build:
  context: .
  cache_from:
    - alpine:latest
    - corp/web_app:3.14

4.2 depends_on

解决容器的依赖、启动先后的问题。以下例子中会先启动 redis db 再启动 web

version: '3'

services:
  web:
    build: .
    depends_on:
      - db
      - redis

  redis:
    image: redis

  db:
    image: postgres

注意：web 服务不会等待 redis db 「完全启动」之后才启动。这里需要注意，如果 redis 启动失败， web 依然会正常启动。

4.3 environment

设置环境变量。你可以使用数组或字典两种格式。只给定名称的变量会自动获取运行 Compose 主机上对应变量的值，可以用来防止泄露不必要的数据。

environment:
  RACK_ENV: development
  SESSION_SECRET:

environment:
  - RACK_ENV=development
  - SESSION_SECRET

如果 变量名称或者值 中用到 true|false，yes|no 等表达 布尔 (opens new window)含义的词汇，最好放到引号里，避免 YAML 自动解析某些内容为对应的布尔语义。这些特定词汇，包括

y|Y|yes|Yes|YES|n|N|no|No|NO|true|True|TRUE|false|False|FALSE|on|On|ON|off|Off|OFF

4.4 expose

暴露端口，但不映射到宿主机，只被连接的服务访问。仅可以指定内部端口为参数

expose:
 - "3000"
 - "8000"

4.5 ports

暴露端口信息。使用宿主端口：容器端口 (HOST:CONTAINER) 格式，或者仅仅指定容器的端口（宿主将会随机选择端口）都可以。

ports:
 - "3000"
 - "8000:8000"
 - "49100:22"
 - "127.0.0.1:8001:8001"

注意：当使用 HOST:CONTAINER 格式来映射端口时，如果你使用的容器端口小于 60 并且没放到引号里，可能会得到错误结果，因为 YAML 会自动解析 xx:yy 这种数字格式为 60 进制。为避免出现这种问题，建议数字串都采用引号包括起来的字符串格式。

4.6 secrets

存储敏感数据，例如 mysql 服务密码。

version: "3.1"
services:

mysql:
  image: mysql
  environment:
    MYSQL_ROOT_PASSWORD_FILE: /run/secrets/db_root_password
  secrets:
    - db_root_password
    - my_other_secret

secrets:
  my_secret:
    file: ./my_secret.txt
  my_other_secret:
    external: true

4.7 image

指定为镜像名称或镜像 ID。如果镜像在本地不存在，Compose 将会尝试拉取这个镜像。

image: ubuntu
image: orchardup/postgresql
image: a4bc65fd

4.8 labels

为容器添加 Docker 元数据（metadata）信息。例如可以为容器添加辅助说明信息。

labels:
  com.startupteam.description: "webapp for a startup team"
  com.startupteam.department: "devops department"
  com.startupteam.release: "rc3 for v1.0"

4.9 network_mode

设置网络模式。使用和 docker run 的 --network 参数一样的值。

network_mode: "bridge"
network_mode: "host"
network_mode: "none"
network_mode: "service:[service name]"
network_mode: "container:[container name/id]"

4.10 networks

配置容器连接的网络。

version: "3"
services:

  some-service:
    networks:
     - some-network
     - other-network

networks:
  some-network:
  other-network:

4.11 volumes

数据卷所挂载路径设置。可以设置为宿主机路径(HOST:CONTAINER)或者数据卷名称(VOLUME:CONTAINER)，并且可以设置访问模式 （HOST:CONTAINER:ro）。该指令中路径支持相对路径。

volumes:
 - /var/lib/mysql
 - cache/:/tmp/cache
 - ~/configs:/etc/configs/:ro

如果路径为数据卷名称，必须在文件中配置数据卷。

version: "3"

services:
  my_src:
    image: mysql:8.0
    volumes:
      - mysql_data:/var/lib/mysql

volumes:
  mysql_data:  

5. Compose命令

之前我们已经介绍了一些命令，已经能够满足一些基本的日常使用了，下面我们再了解一些其他命令。

5.1 命令对象与格式

对于 Compose 来说，大部分命令的对象既可以是项目本身，也可以指定为项目中的服务或者容器。如果没有特别的说明，命令对象将是项目，这意味着项目中所有的服务都会受到命令影响。

执行 docker-compose [COMMAND] --help 或者 docker-compose help [COMMAND] 可以查看具体某个命令的使用格式。

docker-compose 命令的基本的使用格式是

docker-compose [-f=<arg>...] [options] [COMMAND] [ARGS...]

5.2 命令选项 options

• -f, --file FILE 指定使用的 Compose 模板文件，默认为 docker-compose.yml，可以多次指定。
• -p, --project-name NAME 指定项目名称，默认将使用所在目录名称作为项目名。
• --verbose 输出更多调试信息。
• -v, --version 打印版本并退出。

5.3 命令 COMMAND

build

格式为 docker-compose build [options] [SERVICE...]。

构建（重新构建）项目中的服务容器。

服务容器一旦构建后，将会带上一个标记名，例如对于 web 项目中的一个 db 容器，可能是 web_db。

可以随时在项目目录下运行 docker-compose build 来重新构建服务。

选项包括：

• --force-rm 删除构建过程中的临时容器。
• --no-cache 构建镜像过程中不使用 cache（这将加长构建过程）。
• --pull 始终尝试通过 pull 来获取更新版本的镜像。

config

验证 Compose 文件格式是否正确，若正确则显示配置，若格式错误显示错误原因。

down

此命令将会停止 up 命令所启动的容器，并移除网络

exec

进入指定的容器。

help

获得一个命令的帮助。

images

列出 Compose 文件中包含的镜像。

kill

格式为 docker-compose kill [options] [SERVICE...]。

通过发送 SIGKILL 信号来强制停止服务容器。

支持通过 -s 参数来指定发送的信号，例如通过如下指令发送 SIGINT 信号。

$ docker-compose kill -s SIGINT

logs

格式为 docker-compose logs [options] [SERVICE...]。

查看服务容器的输出。默认情况下，docker-compose 将对不同的服务输出使用不同的颜色来区分。可以通过 --no-color 来关闭颜色。

该命令在调试问题的时候十分有用。

pause

格式为 docker-compose pause [SERVICE...]。

暂停一个服务容器。

port

格式为 docker-compose port [options] SERVICE PRIVATE_PORT。

打印某个容器端口所映射的公共端口。

选项：

• --protocol=proto 指定端口协议，tcp（默认值）或者 udp。
• --index=index 如果同一服务存在多个容器，指定命令对象容器的序号（默认为 1）。

这里没看懂。。。

ps

格式为 docker-compose ps [options] [SERVICE...]。

列出项目中目前的所有容器。

选项：

• -q 只打印容器的 ID 信息。

pull

格式为 docker-compose pull [options] [SERVICE...]。

拉取服务依赖的镜像。

选项：

• --ignore-pull-failures 忽略拉取镜像过程中的错误。

push

推送服务依赖的镜像到 Docker 镜像仓库。

restart

格式为 docker-compose restart [options] [SERVICE...]。

重启项目中的服务。

选项：

• -t, --timeout TIMEOUT 指定重启前停止容器的超时（默认为 10 秒）。

rm

格式为 docker-compose rm [options] [SERVICE...]。

删除所有（停止状态的）服务容器。推荐先执行 docker-compose stop 命令来停止容器。

选项：

• -f, --force 强制直接删除，包括非停止状态的容器。一般尽量不要使用该选项。
• -v 删除容器所挂载的数据卷。

start

格式为 docker-compose start [SERVICE...]。

启动已经存在的服务容器。

stop

格式为 docker-compose stop [options] [SERVICE...]。

停止已经处于运行状态的容器，但不删除它。通过 docker-compose start 可以再次启动这些容器。

选项：

• -t, --timeout TIMEOUT 停止容器时候的超时（默认为 10 秒）。

top

查看各个服务容器内运行的进程。

unpause

格式为 docker-compose unpause [SERVICE...]。

恢复处于暂停状态中的服务。

up

格式为 docker-compose up [options] [SERVICE...]。

该命令十分强大，它将尝试自动完成包括构建镜像，（重新）创建服务，启动服务，并关联服务相关容器的一系列操作。

链接的服务都将会被自动启动，除非已经处于运行状态。

可以说，大部分时候都可以直接通过该命令来启动一个项目。

默认情况，docker-compose up 启动的容器都在前台，控制台将会同时打印所有容器的输出信息，可以很方便进行调试。

当通过 Ctrl-C 停止命令时，所有容器将会停止。

如果使用 docker-compose up -d，将会在后台启动并运行所有的容器。一般推荐生产环境下使用该选项。

默认情况，如果服务容器已经存在，docker-compose up 将会尝试停止容器，然后重新创建（保持使用 volumes-from 挂载的卷），以保证新启动的服务匹配 docker-compose.yml 文件的最新内容。如果用户不希望容器被停止并重新创建，可以使用 docker-compose up --no-recreate。这样将只会启动处于停止状态的容器，而忽略已经运行的服务。如果用户只想重新部署某个服务，可以使用 docker-compose up --no-deps -d 来重新创建服务并后台停止旧服务，启动新服务，并不会影响到其所依赖的服务。

选项：

• -d 在后台运行服务容器。
• --no-color 不使用颜色来区分不同的服务的控制台输出。
• --no-deps 不启动服务所链接的容器。
• --force-recreate 强制重新创建容器，不能与 --no-recreate 同时使用。
• --no-recreate 如果容器已经存在了，则不重新创建，不能与 --force-recreate 同时使用。
• --no-build 不自动构建缺失的服务镜像。
• -t, --timeout TIMEOUT 停止容器时候的超时（默认为 10 秒）。

version

格式为 docker-compose version。

打印版本信息。

扩缩容

还记得我们之前创建的那个web应用吗？现在因为访问的人数太多了，我们需要拓展几个容器来同时对外提供服务，来平衡单个容器的访问压力，也就是常说的负载均衡，那么通过docker-compose如何实现这个需求呢？

我们先来看一下现在的情况

Docker Compose 有一个 scale 参数，通过这个参数可以实现容器的水平拓展。

docker-compose up --scale web=3 -d

我们再通过命令查看一下现在的容器状态：

现在可以看到我们有了三个 web 服务，理想情况下这三个 web 会同时对外提供服务，以减轻访问单个容器的压力。但是我们在上面也看到了因为大家都是绑定的 5000 端口，这样端口就冲突了，导致新创建的两个 web 服务都是Exit的状态，对于这个问题我们可以通过 HAProxy 来解决。

 docker run -d -p  1080:1080  -v haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg haproxy

遗留问题：经过长时间搜索，haproxy 还是没搞定，docker-compose.yml 直接添加 3 个 web 倒是可以，方法有点笨了