目录
3.2.1 bootfs (boot file system) 内核空间
3.2.2 rootfs (root file system) 内核空间
3.2.3 为什么docker的centos镜像只有200M多一点
3.2.4 AUFS 与overlay/ overlay2 (docker高版本)
引言
Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。 Docker通过读取Dockerfile中的指令自动生成映像。
一、dockerfile概念
- dockerfile是自定义镜像的一套规则
- dockerfile由多条指令构成,Dockerfile中的每一条指令都会对应于Docker镜像中的每一层
1.1 docker镜像的分层
dockerfile的原理就是镜像分层
- Dockerfile 中的**每个指令都会创建一个新的镜像层**(是一个临时的容器,执行完后将不再存在,再往后进行重新的创建与操作)
- 镜像层将被缓存和复用(后续的镜像层将基于前面的一层,每一层都会有下几层的缓存)
- 当 Dockerfile 的指令修改了,复制的文件变化了,或者构建镜像时指定的变量不同了(后续操作必然更改前面的镜像层),那么对应的镜像层缓存就会失效(就会自动销毁)
- 某一层的镜像缓存失效之后,它之后的镜像层缓存就都会失效(第一层不成功,那么第二层也就不再成功,相当于地基)
- 容器的修改并不会影响镜像,如果在某一层中添加一个文件,在下一层中删除它,镜像中依然会包含该文件
1.2 docker 三要素
镜像:容器的一种静态模板(一组资源的集合,分层的方式一层层累加,组成了完整的镜像
容器:是一种应用/环境的运行时状态/运行时环境
仓库:存放镜像
二、Docker镜像的创建
2.1 Docker镜像
- 应用发布的标准格式
- 支撑一个Docker容器的运行
2.2 Docker镜像的创建方式
- 基于已有镜像创建(docker tag)
- 基于本地模板创建 (docker load<)
- 基于Dockerfile创建(docker build)
- 基于已有容器创建 (docker commit)
2.3 基于已有镜像创建
将容器里面运行的程序及运行环境打包生成新的镜像
docker commit [选项] 容器id/容器名 仓库名:标签
-m | 说明信息 |
---|---|
-a | 作者信息 |
-p | 生成过程中停止容器的运行 |
2.4 基于本地模板创建
通过导入操作系统模板文件生成新的镜像
使用wget命令导入为本地镜像
wget http://download.openvz.org/template/precreated/debian-7.0-x86-minimal.tar.gz
导入镜像
cat debian-7.0-x86-minimal.tar.gz | docker import - debian:new
导入成功后可查看本地镜像信息
docker images
2.5 基于dockerfile创建(重点)
dockerfile是由**一组指令组**成的文件
dockerfile每行支持一条指令,每条指令可携带多个参数,一条指令可以用&&方式,去写多条指令。
dockerfile支持以“#”为开头的注释
2.5.1 dockerfile 结构(四部分)
- 基础镜像信息(Linux发行版:centos ubantu suse debian alpine redhat)
- 维护者信息(docker search可查看)
- 镜像操作指令(tar yum make)
- 容器启动时执行指令 (**cmd["/root/run.sh"] 、entrypoint**都是系统启动时,第一个加载的程序/脚本/命令)
2.5.2 dockerfile操作指令
指令 | 含义 |
FROM[镜像] | 指定新镜像锁基于的镜像,第一条指令必须为FROM指令,每创建一个镜像就需要一条FROM指令,例如centos:7.FROM有两层含义:①开启一个新镜像②必须写的一行指令 |
MAINTAINTER[名字] | 说明新镜像的维护人信息(可写可不写) |
RUN命令 | 每一条RUN后面跟一条命令,在所基于的镜像上执行命令,并提交到新的镜像中,RUN必须大写 |
CMD[“要运行的程序”,“参数1”、“参数2”] | 指定启动容器时需要运行的命令或脚本,dockerfile 只能有一条CMD命令,如果指定多条则只能执行最后的一条,“/bin/bash”也是一条CMD,并且会覆盖images镜像里面的cmd |
EXPOSE[端口号] | 指定新镜像加载到 docker 时要开启的端口**(暴露端口)**,就是这个容器暴露出去的端口 |
ENV[环境变量][变量值] | 设置一个环境变量的值,会被后面的RUN使用。容器可以根据自己的需求创建时传入环境变量,镜像不可以。 |
ADD[源文件/目录][目标文件/目录] | ①将源文件复制到目标文件,源文件要与dockerfile 位于相同目录中,②或者时一个URL,③若源文件是压缩包则会将其解压缩 |
COPY[源文件/目录][目标文件/目录] | 将本地上的文件/目录复制到目标地点,源文件/目录要与dockerfile 在相同的目录中,copy 只能用于复制,add复制的同时,如果复制的对象是压缩包,ADD还可以解压,copy比add 节省资源 |
VOLUME[“目录”] | 在容器中创建一个挂载点,简单来说就是 -v ,指定镜像的目录挂载到宿主机上。 |
USER[用户名/UID号] | 指定运行容器时的用户 |
WORKDIR[路径] | 为后续的RUN,CMD,ENTRYPOINT指定工作目录 ,相当于时一个临时的”CD”, 否则需要使用绝对路径,例如workdir /opt。移动到opt目录下,并在者下面的指令都是在opt目录下执行的。 |
ONBUILD[命令] | 指定所生成的镜像作为一个基础镜像时所要运行的命令**(是一种优化)** |
HEALTHCHECK | 健康检查 |
三、镜像分层的原理
3.1 docker镜像分层(基于AUFS构建)
- docker镜像位于bootfs之上
- 每一层镜像的下一层成为父镜像
- 第一层镜像成为base image(操作系统环境镜像)
- 容器层(可读可写,为了给用户操作),在最顶层(writable)
- 容器层以下都是readonly
LXC是**一种内核中的容器技术**,早期docker在没有将资源容器化的功能时,就是靠内核中LXC来完成容器虚拟化的。现在docker 拥有了自己的docker libcontainer库文件,这种库文件可以做到将资源容器化的操作,所以对LXC的依赖性大大降低。
3.2 涉及技术
3.2.1 bootfs (boot file system) 内核空间
- 主要包含bootloader和kernel
- bootloader主要是引导加载kernel, Linux刚启 动时会加载bootfs文件系统,在Docker 镜像的最底层是bootfs
- 这一层与我们典型的Linux/Unix系统是一样的,包含boot加载器和内核。当boot加载完成之后整个内核就都在内存中了,此时内存的使用权已由bootfs转交给内核,此时系统也会把临时创建的bootfs这个文件系统删掉
- 在linux操作系统中(不同版本的linux发行版本),linux加载bootfs时会将rootfs设置为read-only,系统自检后会将只读改为读写,让我们可以在操作系统中进行操作
3.2.2 rootfs (root file system) 内核空间
- 在bootfs之上(base images, 例如centos、ubuntu)
- 包含的就是典型Linux 系统中的/dev, /proc, /bin, /etc 等标准目录和文件
- rootfs就是各种不同的操作系统发行版,比如Ubuntu,Centos等等
3.2.3 为什么docker的centos镜像只有200M多一点
因为docker镜像**只有rootts和其他镜像层,共用宿主机的linux内核(bootfs)**,因此很小
bootfs + rootfs :作用是加载、引导内核程序+挂载使用linux操作系统(centos ubantu)等等一些关键的目录文件。
就是说 bootfs用内核的,rootfs用自己的
对于一个精简的os,rootfs可以很小,只需要包括最基本的命令、工具和程序库就可以了,因为底层直接用Rost的kernel,自己只需要提供rootfs就行了。所以对于不同的linux发行版,bootfs基本是一致的,rootfs会有差别,所以不同的发行版可以公用bootfs
3.2.4 AUFS 与overlay/ overlay2 (docker高版本)
AUFS是一种联合文件系统。它使用同一个Linux
host上的多个目录,逐个堆叠起来,对外呈现出一个统一的文件系统。AUFS使用该特性,实现了Docker镜像的分层
而docker使用了overlay/overlay2存储驱动来支持分层结构
overlays将单个Linux主机上的两个目录合并成一个目录。这些目录被称为层,统一过程被称为联合挂载
overlay 结构:
overlayfs在linux主机上只有两层,一个目录在下层,用来保存镜像(docker),另外一个目录在上层,用来存储容器信息
- rootfs 基础镜像
- lower 下层信息、(为境像层,可读)
- upper 上层目录(容器信息,可读可写)
- work 运行的工作目录(copy-on-write写时复制---》准备容器环境)
- merged "视图层”(容器视图)
3.3 联合挂载
overlayfs通过三个目录:lower目录、upper目录、以及work目录实现,其中lower目录可以是多个,work目录为工作基础目录,挂载后内容会被清空,且在使用过程中其内容用户不可见,最后联合挂载完成给用户呈现的统一视图称为为merged目录。
挂载选项支持(即“-o”参数):
1)lowerdir=xxx:指定用户需要挂载的lower层目录(支持多lower,最大支持500层)
2)upperdir=xxx:指定用户需要挂载的upper层目录;
3)workdir=xxx:指定文件系统的工作基础目录,挂载后内容会被清空,且在使用过程中其内容用户不可见;
4)default_permissions:功能未使用;
5)redirect_dir=on/off:开启或关闭redirect directory特性,开启后可支持merged目录和纯lower层目录的rename/renameat系统调用;
注:lowerdir、upperdir和workdir为基本的挂载选项
①按下图示创建目录和文件
②挂载
mount -t overlay overlay -o lowerdir=lower,upperdir=upper,workdir=work merged
③查看
3.4 ADD和copy区别
copy = cp复制,将宿主机指定的文件复制到image层中
ADD
①可以复制,同时兼有了解压的功能
add nginx-1.12.tar.gz /root/nginx
在复制进去的同时会对压缩包进行解压到容器内部就是 nginx-1.12/
②add复制的对象可以是URL,跨节点的数据(URL)
3.5 CMD和entrypoint的区别
都是容器启动时要加载的命令
① cmd 是容器环境启动时默认加载的命令
② entrypoint 是容器环境启动时第一个加载的命令程序/脚本程序init
如果 ENTRYPOINT使用了shell模式,CMD指令会被忽略。
entrypoint ["sh","-c", "echo $HOME"]
cmd [ "restart" ] #CND会被忽略
如果 ENTRYPOINT使用了exec模式,CMD指定的内容被追加为ENTRYPOINT 指定命令的参数。
entrypoint ["/etc/init.d/nginx"]
cmd [ "restart"] #CMD作为entrypoint的参数
如果 ENTRYPOINT使用了exec模式,CMD也应该使用exec模式。
例如:
同一个dockerfile中有多个cmd指令的话,哪个生效?
答:最后一个生效如果dockerfile中有多个cmd命令同时,docker build -t nginx:new /bin/bash 哪个生效?
答:docker build指定的生效如果dockerfile中 cmd和entrypoint 同时存在哪个生效呢
答:看情况,如果都是默认加载的类型:
cmd :默认加载的命令/执行程序
entrypoint:第一个加载的环境exec方式启动的话,那么entrypoint会覆盖,或将cmd做为entrypoint传入参数
shell 方式启动的话,直接就是entrypoint生效exec模式与shell模式:
exec:容器加载时使用的启动的第一个任务进程
shell:容器加载时使用的第一个bash
示例一:cmd :默认加载的命令/执行程序
vim Dockerfile #编辑文件,添加下面的内容
FROM centos:7
CMD ["top"]
docker build -t centos:test001 . ###执行镜像文件
docker run -itd --name test centos:test001 /bin/bash 启动容器
docker ps -a
示例二:而使用exec模式是无法输出环境变量的
[root@node1 test01]# cat Dockerfile
FROM centos:7
CMD ["echo","$HOME"]
[root@node1 test01]# docker run --rm centos:v1 ##--rm 一次性运行(删除)
$HOME
示例三:shell 模式
cat dockerfile
FROM centos:7
CMD ["sh","-c","$HOME"]
docker run --rm centos:test03
注:/bin/sh -c nginx shell 模式
nginx exec 模式
四、编写dockerfile,构建镜像
Dockerfile是由一组指令组成的文件,Dockerfile结构四部分:
①基础镜像信息(指定操作系统镜像是什么镜像、什么版本)
②维护者信息
③镜像操作指令
④容器启动时执行指令(启动容器的时候,执行的脚本/命令参数等等)
Dockerfile每行支持一条指令,每条指令可携带多个参数,支持使用以"#"号开头的注释
4.1 构建镜像命令
4.1.1 使用Dockerfile步骤:
1.编写Dockerfile文件,用于描述镜像生成的步骤
2.使用docker build -t name:tag 命令构建镜像
docker build 参数 镜像名 .
-t:tag 打标签
-f:指定dockerfile 目录
. :指构建镜像时使用的环境(当前目录),构建镜像时使用的上下文环境
注:也可在构建镜像时指定资源限制
4.1.2 语法规则
- #号代表注解。
- Dockerfile每一行都是以某个指令(约定大写字母)开始,后面可加参数构成完整指令,用于描述镜像构建步骤。
- 指令从上倒下依次执行
- Dockerfile的第一个指令一定是FROM指令,用于指定基础镜像
- Dockerfile还可以使用.dockerignore文件来忽略在制作镜像时候需要忽略的文件或者目录,列如使用COPY指令时候忽略某些文件或者目录。
- 所有指令参数为数组时,最好使用双引号
4.2 构建nginx镜像
①创建目录和Dockerfile文件
mkdir nginx
vim nginx/Dockerfile
#基础镜像(centos需小写)
FROM centos:7
#用户信息
MAINTAINER THIS IS NGINX IMAGE
添加环境包
RUN yum -y update
RUN yum install -y pcre-devel zlib-devel gcc gcc-c++ make
RUN useradd -M -s /sbin/nologin nginx
#解压nginx软件包
ADD nginx-1.21.6.tar.gz /usr/local/src
#指定工作目录(相当于cd)
WORKDIR /usr/local/src
WORkDIR nginx-1.21.6
RUN ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module && make && make install
ENV PATH /usr/local/nginx/sbin:$PATH
#指定httpd端口
EXPOSE 80
RUN echo "daemon off;" >> /usr/local/nginx/conf/nginx.conf
CMD nginx
②上传nginx-1.21.6.tar.gz至/root/nginx/目录下
③基于Dockerfile文件构建镜像命令
docker build -f Dockerfile -t nginx:new .
docker build :基于dockerfile 构建镜像
-f :指定dockerfile 文件(默认不写的话指的是当前目录)
-t : (tag)打标签——》nginx:new
. :指的是构建镜像时的上下文环境,简单理解:指的当前目录环境中的文件
④运行容器
docker run -d -P nginx:new
-d:守护进程的方式运行
-P: 开放随机端口(49153--65535)
##注意后面不要加/bin/bash 因为Dockerfile文件里已经有CMD指令,
添加/bin/bash会和CMD冲突,会报错
⑤验证: 浏览器访问
小结:构建nginx镜像
①创建一个对应的目录( mkdir nginx)
②编写Dockerfile文件(最简单的方式,nginx部署脚本放进去,每条命令用RON执行,环境变量使用ENV,移动到对应目录使用workdir,最后使用CMD 进行启动设置)
③在nginx目录中上传nginx-1.21.6.tar.gz软件包等文件
④docker build 创建
⑤docker run运行容器
⑥检验
4.3 构建Tomcat镜像
Tomcat 是一个免费开源的轻量级web服务器,在中小型企业和并发量不高的场合普遍使用,是开发和调试JSP程序的首选。
①创建目录并编写Dockerfile文件,上传相关文件
mkdir Tomcat/
vim tomcat/dockerfile
2)创建Dockfile文件
FROM centos:7
MAINTAINER build image tomcat <tang>
EXPOSE 8080
ADD jdk-8u191-linux-x64.tar.gz /usr/local/src
WORKDIR /usr/local/src
ENV JAVA_HOME /usr/local/src/jdk1.8.0_191
ENV CLASSPATH $JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
ENV PATH $JAVA_HOME/bin:$PATH
ADD apache-tomcat-9.0.16.tar.gz /usr/local/src
RUN mv apache-tomcat-9.0.16/ /usr/local/tomcat9 &> /dev/null
ENV PATH /usr/local/tomcat9/bin/:$PATH
ADD tomcat9.run.sh /usr/local/src
RUN chmod 755 /usr/local/src/tomcat9.run.sh &> /dev/null
CMD ["/usr/local/src/tomcat9.run.sh"]
#ENTRYPOINT ["/usr/local/tomcat9/bin/catalina.sh","run"]
1、ENRYPOINT指开启容器前镜像就已经执行了括号内的命令
2、CMD是开启容器时,要执行的指令,设置容器启动后默认执行的命令及其参数,
但 CMD 能够被 docker run 后面跟的命令行参数替换
3、基于Dockerfile内有CMD或者ENTRYPOINT创建镜像时,
docker run 后面就不要加指令(/bin/bash)了,会覆盖掉Dockerfile中的指令或者语法报错
3)编辑启动脚本
vim tomcat9.run.sh
#!/bin/bash
/usr/local/tomcat9/bin/catalina.sh run
chmod +x tomcat9.run.sh
4) 生成镜像
docker build -t tomcat:test .
docker images |grep tomcat
5) 创建容器
docker run -d -P tomcat:test /bin/bash
docker ps -a |grep tomcat
6) 验证
4.4 创建mysql 5.7版本的镜像
1)创建工作目录
并把所需软件包拉取过来
# mkdir mysql
# cd mysql
# rz -E
把mysql-boost-5.7.20.tar.gz 复制过来
2)创建Dockerfile文件
# vim Dockerfile
FROM centos:7
RUN yum -y install ncurses ncurses-devel bison cmake make gcc gcc-c++
RUN useradd -s /sbin/nologin mysql
ADD mysql-boost-5.7.20.tar.gz /usr/local/src
WORKDIR /usr/local/src/mysql-5.7.20/
RUN cmake \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DMYSQL_UNIX_ADDR=/usr/local/mysql/mysql.sock \
-DSYSCONFDIR=/etc \
-DSYSTEMD_PID_DIR=/usr/local/mysql \
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DWITH_INNOBASE_STORAGE_ENGINE=1 \
-DWITH_ARCHIVE_STORAGE_ENGINE=1 \
-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \
-DWITH_PERFSCHEMA_STORAGE_ENGINE=1 \
-DMYSQL_DATADIR=/usr/local/mysql/data \
-DWITH_BOOST=boost \
-DWITH_SYSTEMD=1 && make && make install
RUN chown -R mysql:mysql /usr/local/mysql/
RUN rm -rf /etc/my.cnf
ADD my.cnf /etc
RUN chown mysql:mysql /etc/my.cnf
ENV PATH=/usr/local/mysql/bin:/usr/local/mysql/lib:$PATH
WORKDIR /usr/local/mysql/
RUN bin/mysqld \
--initialize-insecure \
--user=mysql \
--basedir=/usr/local/mysql \
--datadir=/usr/local/mysql/data
RUN cp /usr/local/mysql/usr/lib/systemd/system/mysqld.service /usr/lib/systemd/system/
EXPOSE 3306
RUN echo -e "#!/bin/sh \nsystemctl enable mysqld" > /run.sh
RUN chmod 755 /run.sh
RUN sh /run.sh
CMD ["init"]
3)编写执行脚本内容
#vim my.cnf
[client]
port = 3306
default-character-set=utf8
socket = /usr/local/mysql/mysql.sock
[mysql]
port = 3306
default-character-set=utf8
socket = /usr/local/mysql/mysql.sock
[mysqld]
user = mysql
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
character_set_server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket = /usr/local/mysql/mysql.sock
server-id = 1
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_AUTO_VALUE_ON_ZERO,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,PIPES_AS_CONCAT,ANSI_QUOTES
4)用Dockfile生成镜像
# docker build -t mysql:centos .
5)运行容器
# docker run --name=mysql_server -d -P --privileged mysql:centos
# dcoker ps -a
可看到映射的端口
6)进入容器,设置权限
# docker exec -it 容器ID /bin/bash
# mysql -u root -p
> grant all privileges on *.* to 'root'@'%' identified by '123456';
> grant all privileges on *.* to 'root'@'localhost' identified by '123456';
> flush privileges;
验证 测试:
在另外一台宿主系统中安装mariadb客户端 远程连接mysql容器
# yum -y install mariadb
# mysql -h 192.168.111.30 -u root -P 32772 -p123456
可以登录
五、总结
1、docker镜像的分层
dockerfile的原理就是镜像分层。
- Dockerfile 中的**每个指令都会创建一个新的镜像层**(是一个临时的容器,执行完后将不再存在,再往后进行重新的创建与操作)
- 镜像层将被缓存和复用(后续的镜像层将基于前面的一层,每一层都会有下几层的缓存)
- 当 Dockerfile 的指令修改了,复制的文件变化了,或者构建镜像时指定的变量不同了(后续操作必然更改前面的镜像层),那么对应的镜像层缓存就会失效(就会自动销毁)
- 某一层的镜像缓存失效之后,它之后的镜像层缓存就都会失效(第一层不成功,那么第二层也就再成功,相当于地基)
- 容器的修改并不会影响镜像,如果在某一层中添加一个文件,在下一层中删除它,镜像中依然会包含该文件
2、dockerfile操作指令
3、镜像分层的原理
- docker镜像位于bootfs之上
- 每一层镜像的下一层成为父镜像
- 第一层镜像成为base image(操作系统环境镜像)
- 容器层(可读可写,为了给用户操作),在最顶层(writable)
- 容器层以下都是readonly
4、AUFS 与overlay/ overlay2 (docker高版本)
AUFS是一种联合文件系统。它使用同一个Linux
host上的多个目录,逐个堆叠起来,对外呈现出一个统一的文件系统。AUrs使用该特性,实现了Docker镜像的分层
而docker使用了overlay/overlay2存储驱动来支持分层结构
overlays将单个Linux主机上的两个目录合并成一个目录。这些目录被称为层,统一过程被称为联合挂载
overlay 结构
overlayfs在linux主机上只有两层,一个目录在下层,用来保存镜像(docker),另外一个目录在上层,用来存储容器信息
- rootfs 基础镜像
- lower 下层信息、(为境像层,可读)
- upper 上层目录(容器信息,可读可写)
- work 运行的工作目录(copy-on-write写时复制-》准备容器环境)
- merged "视图层”(容器视图)