docker从基础到实践

最新推荐文章于 2023-06-02 11:03:17 发布

mseaspring

最新推荐文章于 2023-06-02 11:03:17 发布

阅读量592

点赞数 6

文章标签： docker linux java centos python

原文链接：http://mp.weixin.qq.com/s?__biz=MjM5OTE4MzcyNA==&mid=2648845457&idx=1&sn=44c0a06b9c58046253193ecb10a9f909&chksm=bf29d892885e5184c31895b1180349c1c991412850b54379b886dd7cf0e5bca7dea383f9d3f4

版权

Docker

我使用docker，也只是简单的使用，主要用来快速搭建环境，比如快速搭建Elasticsearch环境，进行各种验证，逐渐发现docker用起来很爽，真如docker含义一样“码头工人”，也类似于docker的图标，docker把应用容器化了，给人一种干净方便的感觉，使用过程也是如此，只需要简单的几个命令就可以快速构建一个完全一样的环境，不用了，直接删除，干干净净，不用做过多复杂的配置，不用费力地改各种配置文件，清理后也不用担心还遗留的垃圾，所以学习下docker还是很有必要。

有些docker命令我也记不得了，这篇文章算是我的笔记，边学习边写，主要分为三个部分：

docker基础和原理；2. docker 常用命令；3.docker 实战

一 docker 基础和原理

1.1 容器

聊docker 就会谈到容器即container的概念，container有集装箱的含义，集装箱有什么作用那：首先可以很好的隔离货物，货物之间不受到影响；其次可以限制每种货物的边界，使得货物可以方便的装载和卸载；集装箱可以反复使用；

这些特性在容器中刚好也存在，我们通过容器来隔离一个个应用，也许你会说了，在OS中，各个应用本来就相互独立的啊，一个程序挂掉并不会影响另外一个程序啊，其实虽然OS中，大部分情况可以减少应用之间的相互影响，但是使用的资源还是统一的，比如都可以使用系统的内存，如果一个程序占用内存很大，比然会影响其他应用的执行。有了影响，就会造成了整个系统的不稳定。

所以有了各种隔离的技术，有虚拟机，也有今天说的容器。docker是容器技术的一个开源的实践。相对于虚拟机来说，容器的优点更轻量级，大部分几十M到上百M，比虚拟机更小，因为容器可以共享底层的系统，只是把运行环境独立开来，所以体积更小，这样我们在一个系统中可以同时启动上千个容器；因为体积更小，底层共用，所以启动的速度几乎是秒级；也因为底层是直接OS，所以性能比虚拟机这种需要透过两层OS的性能更好。

虚拟机 VS 容器

1.2 docker基础概念

docker中最重要的三个概念，就是镜像（Image），容器（Container），和仓库（Repository）。简单的来理解，镜像可以看做可以执行的程序（包含执行程序所需要的环境，脚本，配置等一切程序执行所依赖的东西），这样我们可以保证镜像导出到其他环境执行结果都是完全一样的；容器那可以看做系统中的进程，即程序运行起来变成了进程；仓库是保存镜像的地方，我们可以从仓库中拉取镜像，这类似于我们的git仓库，只是一个保存的是镜像，一个保存的是源码而已。

如果说镜像是可执行程序，一般程序要么是通过解释执行，要么是通过编译执行，这个可执行文件是怎么来的，其实这个可执行文件是通过docker file文件借助docker build工具来创建镜像，docker file文件包含基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令等信息

docker概念关系

docker 通过拉取仓库镜像，或者导入镜像，然后通过run命令运行镜像就形成了一个个容器。

1.3 docker 简单原理

Docker 利用Linux的核心分离机制，利用Namespace做资源隔离，用Cgroup做资源限制，利用Union FS 做容器文件系统的轻量级虚拟化技术。Docker容器本身仍然是宿主机器上的特殊进程，只是它的资源受限，它看到的进程和文件系统是隔离的，共享操作系统的内核，所以它是轻量级的虚拟化技术。

1.3.1 docker 隔离原理

进程隔离首先，我们要理解为什么要做隔离，比如我们普通的服务器上，可能跑着web容器如nginix，可能跑着数据库如mysql，可能跑着我们的spring boot程序，如果不是隔离的，每个进程都可以看到其他进程，也可以看到或访问其他所有文件，特别是用root用户启动的进程，那就存在一个问题，就是如果其中一个进程有漏洞，被黑客攻进来了，那他就可以访问当前系统的所有文件和进程，显然是没有必要而且危害大。

在linux宿主主机上，我们可以看到很多进程，都是由idle这个0号进程直接或间接创建，进程之间没有隔离。

进入到容器内，只能看到容器内极少进程，从而达到和宿主的主进程隔离的目的。

Linux通过Namespace实现了资源的隔离，如下的接口：

#include <sched.h>

int clone(int (*fn)(void *), void *child_stack,
int flags, void *arg, ...
/* pid_t *ptid, struct user_desc *tls, pid_t *ctid */ );

如：

int pid = clone(call_function, stack_size, CLONE_NEWPID | SIGCHLD, NULL);

clone类似fork创建一个进程，新进程会执行call_function, 我们通过指定flags为CLONE_NEWPID | SIGCHLD，那么该进程的编号就为隔离状态，有就是新的PID编号，该进程内看到的只能看到自己的进程ID为1，看不到其他宿主机器的其他进程，或其他容器里面的进程。

int unshare(int flags) 使进程脱离某个Namespace，flags参数和clone的用法一致。
int setns(int fd, int nstype) 使进程进入某个已经存在的Namespace。经常用于从宿主机进入已经启动的容器Network Namespace，然后设置它的网络。

网络隔离docker为我们提供四种网络连接方式：

默认为桥接模式：

docker在桥接模式下，为所有的容器都设置了IP地址。每个容器都会创建一对虚拟网卡，一个veth开头的网卡加入docker0的网桥内，另外一个网卡eth0在容器内。网桥docker0再通过iptables和主机网卡相连，达到了通信的目的。docker会给每个容器都分配一个新的ip，这些ip以docker0的ip为默认网关。

centos下查看网桥接口：

#安装
yum install bridge-utils

#查看
[root@iZwz90jb8mqajkli0ttrcbZ ~]# brctl show
bridge name bridge id  STP enabled interfaces
docker0  8000.0242324f6fed no  veth0fab93f
       veth3a10669
       veth58dc63c
       veth5b0dd66
       vethd8f2eca

[root@iZwz90jb8mqajkli0ttrcbZ ~]#  iptables -t nat -L
Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination         
MASQUERADE  all  --  172.17.0.0/16        anywhere            
MASQUERADE  tcp  --  172.17.0.4           172.17.0.4           tcp dpt:redis
MASQUERADE  tcp  --  172.17.0.5           172.17.0.5           tcp dpt:cslistener
MASQUERADE  tcp  --  172.17.0.3           172.17.0.3           tcp dpt:http
MASQUERADE  tcp  --  172.17.0.2           172.17.0.2           tcp dpt:mysql
MASQUERADE  tcp  --  172.17.0.6           172.17.0.6           tcp dpt:http

Chain DOCKER (2 references)
target     prot opt source               destination         
RETURN     all  --  anywhere             anywhere            
DNAT       tcp  --  anywhere             anywhere             tcp dpt:redis to:172.17.0.4:6379
DNAT       tcp  --  anywhere             anywhere             tcp dpt:7088 to:172.17.0.5:9000
DNAT       tcp  --  anywhere             anywhere             tcp dpt:rcc-host to:172.17.0.3:80
DNAT       tcp  --  anywhere             anywhere             tcp dpt:mysql to:172.17.0.2:3306
DNAT       tcp  --  anywhere             anywhere             tcp dpt:monp to:172.17.0.6:80

比如我们要访问如上机器的ip为127.0.0.1的redis服务端口，报文通过iptables设置转发到172.17.0.4:6379这个容器内的6379端口上，回复的时候，这个ip又转成127.0.0.1回复。docker通过Namespace实现了进程隔离，又通过iptables实现了docker和外网通讯。

文件系统隔离Union File System即联合文件系统，具有联合挂载能力，容器中多层内容呈现为统一的rootfs（根文件系统）。rootfs打包了整个操作系统的文件和目录。在新进程中创建隔离的挂载点，在clone函数中传入CLONE_NEWNS，这样子进程得到父进程挂载点的拷贝，通过chroot函数改变程序能够访问的文件系统的根节点，从而禁止访问宿主机器上的其他目录。

1.3.2 资源限制

同一机器上运行多个容器，说到底还是会使用宿主机器上的cpu和内存，如果一个容器运行IO密集型任务或CPU密集性任务，还是会影响其他进程和容器的运行。

Control Groups（CGroups）能够隔离宿主主机上的物理资源（CPU,内存，磁盘IO，网络带宽）。CGroups以子系统的形式设置很多参数，将需要限制的进程加入后，就按照这些参数的设置来限制进程的使用的资源了。下面是cgroups所有的挂载点，限制的时候，只要在下面建立目录，自动会创建相关配置文件，然后把要配置的值写入，然后进程启动加入这个限制组即可对进程使用资源做限制。

[root@iZwz90jb8mqajkli0ttrcbZ ~]# mount | grep cgroup
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)

我们可以简单看下容器的限制：

[root@iZwz90jb8mqajkli0ttrcbZ ~]# docker ps
CONTAINER ID   IMAGE                 COMMAND                  CREATED        STATUS        PORTS                               NAMES
6c9d39515afa   nginx                 "/docker-entrypoint.…"   1 months ago   Up 1 days     0.0.0.0:3445->80/tcp                nginx

#查看这个容器的内存使用限制，很大的值，内存使用没做限制。
[root@iZwz90jb8mqajkli0ttrcbZ ~]# more /sys/fs/cgroup/memory/docker/6c9d39515afa7d349c16883b04ee5ccf3bcc158e8679a80c9e3e6fc90c2a057f/memory.kmem.limit_in_bytes 
9223372036854771712

docker的cgroups结构

每个CGroup下面的tasks 记录属于这个CGrop的所有进程id，cpu.cfs_quota_us文件能对cpu做出限制，如果当前文件内容为50000，那么当前控制组的所有进程的cpu占用率不能超过50%。

[root@iZwz90jb8mqajkli0ttrcbZ ~]#  docker run -it -d --cpu-quota=50000 busybox
Unable to find image 'busybox:latest' locally
latest: Pulling from library/busybox
8ec32b265e94: Pull complete 
Digest: sha256:b37dd066f59a4961024cf4bed74cae5e68ac26b48807292bd12198afa3ecb778
Status: Downloaded newer image for busybox:latest
a39c6479232bbecd8e6d57837ece46fbbe55f7e96e93b066b4e7669adf68b81e
[root@iZwz90jb8mqajkli0ttrcbZ ~]# docker ps
CONTAINER ID   IMAGE                 COMMAND                  CREATED          STATUS          PORTS                               NAMES
a39c6479232b   busybox               "sh"                     21 seconds ago   Up 20 seconds                                       nostalgic_galileo
[root@iZwz90jb8mqajkli0ttrcbZ ~]# cat /sys/fs/cgroup/cpu/docker/a39c6479232bbecd8e6d57837ece46fbbe55f7e96e93b066b4e7669adf68b81e/tasks 
1523538
[root@iZwz90jb8mqajkli0ttrcbZ ~]# ps -ef|grep 1523538
root     1523538 1523521  0 20:31 ?        00:00:00 sh
root     1523603 1474176  0 20:31 pts/1    00:00:00 grep --color=auto 1523538
[root@iZwz90jb8mqajkli0ttrcbZ ~]# cat /sys/fs/cgroup/cpu/docker/a39c6479232bbecd8e6d57837ece46fbbe55f7e96e93b066b4e7669adf68b81e/cpu.cfs_quota_us
50000

1.3.3 image和container

docker的镜像是分层的，每层都是只读的，docker run启动一个镜像后，会在上面生成一个可读可写的层，如下：

容器等于镜像+可读写层，如下：docker的构建是在docker file上构建的，docker file中每个命令都是在已有层上加上一个只读层：如下：

FROM ubuntu:15.04
COPY . /app
RUN make /app
CMD python /app/app.py

容器可以看做在镜像层基础上添加个读写层,上述形成的容器如下:

容器

当镜像被 docker run 命令创建时就会在镜像的最上层添加一个可写的层，也就是容器层，所有对于运行时容器的修改其实都是对这个容器读写层的修改。

1.4 AUFS

UnionFS 其实是一种为 Linux 操作系统设计的用于把多个文件系统『联合』到同一个挂载点的文件系统服务。而 AUFS 即 Advanced UnionFS 其实就是 UnionFS 的升级版，它能够提供更优秀的性能和效率。

AUFS 作为联合文件系统，它能够将不同文件夹中的层联合（Union）到了同一个文件夹中，这些文件夹在 AUFS 中称作分支，整个『联合』的过程被称为联合挂载（Union Mount）：

每一个镜像层或者容器层都是 /var/lib/docker/ 目录下的一个子文件夹；在 Docker 中，所有镜像层和容器层的内容都存储在 /var/lib/docker/aufs/diff/ 目录中：

$ ls /var/lib/docker/aufs/diff/00adcccc1a55a36a610a6ebb3e07cc35577f2f5a3b671be3dbc0e74db9ca691c       93604f232a831b22aeb372d5b11af8c8779feb96590a6dc36a80140e38e764d8
00adcccc1a55a36a610a6ebb3e07cc35577f2f5a3b671be3dbc0e74db9ca691c-init  93604f232a831b22aeb372d5b11af8c8779feb96590a6dc36a80140e38e764d8-init
019a8283e2ff6fca8d0a07884c78b41662979f848190f0658813bb6a9a464a90       93b06191602b7934fafc984fbacae02911b579769d0debd89cf2a032e7f35cfa
...

二 docker 常用命令

docker 是CS架构的系统,Docker的守护进程运行在主机上,客户端通过socket连接到守护进程,发送命令,服务器端接收命令并执行.

2.1 docker的安装

我是在centos下安装的,如下命令安装:

yum install -y yum-utils
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-8.repo
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install containerd.io
yum install https://download.docker.com/linux/fedora/30/x86_64/stable/Packages/containerd.io-1.2.6-3.3.fc30.x86_64.rpm
yum install docker-ce docker-ce-cli --nobest

阿里云加速:

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://jo5me37m.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

配置docker开机启动

# 启动docker
  systemctl start docker
# 使docker开机启动
  systemctl enable docker
# 停止docker服务
  systemctl stop docker

docker基本信息

#docker version 版本信息
docker version
#docker info docker基本信息 docker系统信息包括镜像,容器数量等,蛮详细的.
docker info
#docker命令帮助
docker --help
#子命令帮助
 docker images --help

2.2 镜像命令

docker上面安装就相当于安装os,镜像就相当于程序了,需要先下载程序才可以运行.查看镜像

#查看docker的所有下载的镜像,仓库地址,标志
docker images
#镜像tag等.

搜索仓库镜像docker有做好的N多个镜像,非常方便搜索下载也是我喜欢docker原因.

docker search mysql

下载镜像

#如果不写tag默认下载的是latest
docker pull mysql
#等价于:
docker pull docker.io/library/mysql:latest
#下载指定版本
docker pull mysql:5.7

删除镜像

docker rmi -f 镜像id/镜像名字
docker rmi -f $(docker images -aq) # 删除所有镜像

2.3 容器的命令

我们有了镜像就可以创建容器了,命令如下:运行命令

docker run [可选参数]  image
# 参数说明
--name="xxx" 容器名字
-d  后台方式运行
-it 使用交互方式运行,可以进入容器查看内容
-p 指定容器的端口 -p 8080:8080
-p 主机端口:容器端口
-p ip:主机端口: 容器端口

#例子:
docker run -it centos /bin/bash

列出在运行的容器

docker ps
#列出 当前运行和历史运行过容器
docker ps -a

退出容器

#退出容器 如果是没干什么事情的容器,这样会停止运行
exit

#退出容器 不停止容器
Ctrl +P+Q

删除容器

docker rm  容器id #删除指定容器  -f 强制删除运行中的容器
docker rm -f  $(docker ps -aq) #删除所有容器

启动和停止容器

docker start 容器id
docker restart 容器id
docker stop 容器id
docker kill 容器id

后台启动命令

docker run centos -d
#会自动停止,因为后台没有关联的前台命令,比如运行nginx等.

容器日志查看

#查看最近10条日志
docker logs -f -t --tail 10 容器id

查看容器中进程信息

docker top 容器id

查看容器元数据信息

#非常详细的信息
docker inspect 容器id

进入当前正在运行的容器

#进入容器开启新的终端,可以操作
docker  exec  -it 容器id  /bin/bash

#进入容器,正在执行的终端,不会启动新的进程
docker attach -it  容器id /bin/bash

从容器中拷贝文件到主机上

docker cp 容器id:路径 主机目录

一般可以使用-v 卷的技术实现文件的自动同步.

三 Docker 实战

3.1 docker 安装Mysql

docker pull mysql
cd /opt/
mkdir mysql_docker
cd mysql_docker/
echo $PWD
#-v /opt/mysql_docker/conf:/etc/mysql/conf.d 映射本地目录到容器目录/etc/mysql/conf.d 
#设置mysql密码为123456  run时候如果不存在这个镜像会自动拉取此镜像
docker run --name mysqlserver -v /opt/mysql_docker/conf:/etc/mysql/conf.d -v /opt/mysql_docker/logs:/logs -v /opt/mysql_docker/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d -i -p 3306:3306 mysql:latest

docker ps

#进入mysql
docker exec -it mysqlserver bash
#登录
mysql -uroot -p

use mysql;
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
flush privileges;

# 查看日志
docker logs -f --tail 10 a4dac74d48f7

#停止mysql
docker stop mysqlserver

#启动container 
docker restart   a4dac74d48f7

3.2 安装nginx

# 拉取nginx
docker pull nginx
#新建目录
mkdir -p nginx/www nginx/logs nginx/conf

#简单启动
docker run --name nginx-test1 -p 8081:80 -d nginx

#拷贝下配置文件
docker cp 4b51399a85a4:/etc/nginx/nginx.conf ./

#正式启动
docker run -d -p 80:80 --name nginx-app-1 -v /opt/nginx/www:/usr/share/nginx/html -v /opt/nginx/conf/nginx.conf:/etc/nginx/nginx.conf -v /opt/nginx/logs:/var/log/nginx nginx

3.3 安装redis

docker pull redis
mkdir -p /opt/redis/conf ,/opt/redis/data
docker run -p 6379:6379 --name redis-app -v /opt/redis/redis.conf:/etc/redis/redis.conf -v /opt/redis/data:/data -d redis 
docker exec -it redis redis-cli

四参考

[docker从入门到实践](https://yeasy.gitbook.io/docker_practice/)
[docker原理优秀文章](https://draveness.me/docker/)
[docker容器和镜像理解](http://dockone.io/article/783)
[狂神讲redis 视频]([https://www.bilibili.com/video/BV1og4y1q7M4?p=22](https://www.bilibili.com/video/BV1og4y1q7M4?p=22)
)