容器是时下的人们技术,公司也要求员工对此进行学习和应用。
前段时间看了B站上的尚硅谷的视频课,在此记录一下Docker学习的一些笔记,供大家参考,请帮忙斧正。侵删。
建议先适当学习一些Linux的常用命令和相关背景,了解Maven/Git的一些相关知识。
目录
0. 学习视频
视频课 https://www.bilibili.com/video/av47715282?from=search&seid=2009861769979326156 8h
1. Docker简介
1.1 Docker为什么会出现?
一款产品从开发到上线,从OS、到运行环境,再到应用配置。作为开发+运维之间的写作我们需要关心很多东西。这也是很多互联网公司都不得不面对的问题,特别是各种版本的迭代之后,不同版本环境的兼容,对运维人员都是考验。
Docker之所以发展如此迅速,也是因为它给出了一个标准化的解决方案。
原始情况: 开发和运维——环境和配置
==》进阶
环境配置如此麻烦,换一台机器,就要从来一次,费力费时。很多人想到,能不能从根本上解决问题,软件可以带环境安装?也就是说,安装的时候,把原始环境一模一样的复制过来,开发人员利用Docker可以消除协作编码时“在我的机器上可以正常工作,在你的机器上不行”的问题。
Docker三要素:镜像、容器(集装箱)、仓库
之前在服务器配置一个应用的运行环境,要安装各种软件,安装起来麻烦不说还不能实现跨平台。加入我们再windows上安装的这些环境,到了Linux上又得重新装,况且就算不跨操作系统,换另一台同样操作系统的服务器要移植应用也是非常麻烦的。
传统上认为,软件编码开发测试结束后,所产出的成果就是程序或能够编译执行的二进制节码等(java为例),而为了让这些程序可以顺利的执行,开发团队也得准备完整的部署文件,让运维团队得以部署应用程式。开发需要清楚的告诉运维部署团队,用的全部配置文件+所有软件环境。不过,即使如此仍然常常发生部署失败的状况。Docker镜像的设计,使得Docker得以打破过去【程序即应用】的观念,通过镜像(images)将作业系统核心除外,运作应用程式所需要的系统环境,自上而下的打包,达到应用程式跨平台的无缝接轨运作。
1.2 Docker的理念
Docker是基于Go语言实现的云开源项目。
Docker的主要目标是“Build,Ship and run any app anywhere”。也就是通过对应用组件的封装、分发、部署、运行等生命周期的管理,使用户的APP(可以是一个WEB应用或数据库应用等)及其运行环境能够做到“一次封装、到处运行”
Linux容器技术的出现就解决了这样一个问题,而Docker就是在它的基础上发展过来的。将应用那个程序运行在Docker容器上面,而Docker容器在任何OS上都是一致的,这就实现了跨平台、跨服务器。只需要一次配置环境,换到别的机子上就可以一键部署好,大大简化了操作。
1.3 总结起来一句话:
解决了运行环境和配置问题的软件容器,方便做持续集成并有助于整体发布的容器虚拟化技术。
1.4 Docker能够干什么??
- 之前的虚拟机(virtual machine)技术:就是带环境安装的一种解决方案
- 它可以在OS里面运行另一种OS,比如Windows系统里面运行Linux系统。应用程序对此毫无感知。因为虚拟机看上去和真实系统一模一样,而对于底层系统来说,虚拟机就是一个普通文件,不需要了就删掉,对其他部分毫无影响,这类虚拟机完美的运行了另一套系统,能够使应用程序,操作系统和硬件之间三者的逻辑不变。
- 缺点:资源占用多,启动慢
- Docker容器技术
- 由于前面虚拟机存在这些缺点,Linux发展出了另一种虚拟化技术:Linux容器(Linux Containers,缩写为LXC)。
- LXC容器不是模拟一个完整的操作系统,而是对进程进行隔离。有了容器,就可以将软件运行所需的所有资源打包到一个隔离的容器中。容器与虚拟机不同,不需要捆绑一整套操作系统,只需要软件工作所需的库资源和设置。系统也因此变得更高效轻量并保证部署在任何环境中的软件都能始终如一的运行。
比较Docker和传统虚拟化方式的不同:
- 传统虚拟机技术是虚拟出一套硬件之后,在其上运行一个完整的操作系统,在该系统上再运行所需应用进程。
- 而容器内的应用进程直接运行于宿主的内核,容器内没有自己的内核,而且也没有硬件虚拟。因此容器要比传统的虚拟机更为轻便。
- 每个容器之间相互隔离,每个容器有自己的文件系统,容器之间进程不会互相影响,能够区分计算资源。
- 开发/运维(DevOps)
- 一次构建、随处运行
- 更高效的计算资源利用
- 更简单的系统运维
- 更便捷的升级和扩容缩
- 更快速的应用交付和部署
- 一次构建、随处运行
- 企业级:
2 Docker安装
2.1 前提
Cent OS安装:CentOS 6.5以上
2.2 Docker基本组成
2.2.1 架构图
2.2.2 三大要素
Docker的三大要素是:
- 1. 镜像images - 就是一个只读的模板。镜像可以用来创建Docker 容器,一个镜像可以创建很多容器。
- 2. 容器 container -Docker利用容器独立运行的一个或一组应用。 容器是镜像创建的运行实例。
它可以启动、开始、停止、删除、每个容器都是相互隔离的,保证安全的平台。可以把
- 容器看做一个简易版的Linux运行环境(包括root用户权限、进程空间、用户控件和网络空间等)和运行其中的应用程序。
- 容器的定义和镜像几乎一模一样,也是一堆层的统一视角,唯一区别在于容器的最上面那一层是可读可写的。
- 3. 仓库repository:用来存放镜像的场所
- Repository和仓库注册服务器(registry)是有区别的。仓库注册服务器上往往存放着多个仓库,每个仓库中由包含了多个镜像,每个镜像又有不同的标签(tag)
- 仓库分为公开仓库(public)和私有仓库(private)两种形式。
- 最大的公开仓库是Docker Hub,存放了数量庞大的镜像供用户下载。国内的公开仓库包括阿里云、网易云等。
要正确的理解仓库,镜像,和容器的这几个概念:
Docker 本身是一个容器运行载体或称之为管理引擎。我们把应用程序和配置依赖打包好形成一个可交付的运行环境,这个打包好的运行环境就是image镜像文件。只有通过这个镜像文件才能生存Docker容器。image文件可以看做容器的模板。Docker根据image文件生成容器的实例。同一个image文件,可以生成多个同时运行的容器实例。
- image文件生产的容器实例,本身也是一个文件,称为镜像文件
- 一个容器运行一种服务,当我们需要的时候,就可以通过docker客户端创建一个对应的运行实例,也就是我们的容器
- 至于仓库,就是放了一对镜像的地方,我们可以把镜像发布到仓库中,需要的时候从仓库中拉下来就可以了。
2.2.3 Docker安装
- 阿里云镜像加速
- 是什么: https://dev.aliyun.com/search.html
- 注册一个属于自己的阿里云账户
- 获得加速器地址链接
- 配置docker后台加速器
- 重新启动docker daemon
- 网易镜像加速
- HelloWorld实例
$ docker run hello-world
docker run做了什么?
3 Docker底层运行原理
Docker是一个Client-Server结构的系统,Docker守护进程运行的主机上,然后通过Socket连接从客户端访问,守护进程从客户端接受命令并管理运行在主机上的容器。容器,是一个运行时环境,就是我们前面说到的集装箱。
为什么Docker比VM快?
- Docker有着比虚拟机更少的抽象层。由于docker不需要hypervisor实现硬件资源虚拟化,运行在docker容器上的程序直接使用的都是实际物理机的硬件资源。因此在CPU、内存利用率上docker将会在效率上更有明显优势。
- DOcker利用的是宿主机的内核,而不需要Guest OS。因此,当新建一个容器时,docker不需要和虚拟机一样重新加载一个操作系统内核。因而避免引寻、加载操作系统内核翻个比较费时费资源的过程,当新建一个虚拟机时,虚拟机软件需要加载GuestOS,这个新建过程是分钟级别的。而Docker 由于直接利用你宿主机的操作系统,则省略了这个过程,因此新建一个docker容器只需要几秒钟。
4 Docker常用命令
Docker 鲸鱼背上有集装箱。
蓝色的大海里面 -- 宿主机系统windows10
鲸鱼 -- docker
集装箱 -- 容器实例 -- from镜像模板
4.1 帮助命令
docker --version
docker --info
docker --help
4.2 镜像命令
- docker images: 列出本地仓库的镜像模板
options:
-a:列出本地所有镜像(含中间映像层) -q: only show image id --digests: 显示镜像的摘要信息 --no-trunc:显示完整的镜像信息 |
结果:
![]() |
tag:标记了镜像的标签。同一个仓库可以有多个tag,代表这个仓库源的不同版本。我们使用"repository:tag"来定义不同的镜像。 repository: 仓库的名称 imageid:镜像ID created:镜像创建时间 size:镜像大小 |
- docker search xxx镜像名字: Search the Docker Hub for images
Options:
--no-trunc: 显示完整的镜像信息 -s: 列出收藏数不小于指定值的镜像 --automated: 只列出automated build类型的镜像 |
- docker pull XXX镜像名字: 下载镜像
- docker rmi xxx镜像名字ID
- 删除镜像: docker rmi -f 镜像ID/镜像名字
- 删除单个镜像: docker rmi -f 镜像id
- 删除多个镜像: docker rmi -f 镜像名字1:tag 镜像名字2:tagdo
- 删除全部: docker rmi -f $(docker images -qa)
4.3 Docker容器命令
4.3.1 基本命令
有镜像才能create容器,这是根本前提。现在我们下载一个centos的镜像延时 --docker pull centos
- 新建并启动容器: docker run[OPTIONS] IMAGE[COMMOND] [arg…]
注意:启动交互式窗口:
docker run -it imagename/id
- 列出当前所有正在运行的容器 docker ps (鲸鱼背上有哪些)
- 退出容器:两种方式
- exit:容器停止退出
- ctrl+P+Q:容器不停止、退出
- 启动容器:docker start [id]
- 重启容器:docker restart [containerid]
- 停止容器:docker stop [容器ID/name]
- 强制停止容器:docker kill 【容器ID/name】
- 删除已经停止的容器:docker rm
- 一次性删除多个容器
docker ps -a -q|xargs docker rm
docker rm -f $(docker ps -a -q)
4.3.2 重要命令
-
以守护进程的方式启动容器:docker run -d centos
注意:使用镜像centos:latest以后台模式启动一个容器
$ docker run -d centos
问题:然后docker ps -a进行查看,会发现容器已经退出?
答案:
很重要的一点:Docker 容器后台运行,就必须有一个前台进程。
容器运行的命令如果不是那些一直挂起的命令(比如运行top, tail),就是会自动退出的
这个是Docker的机制问题,比如你的web容器,我们以nginx为例,正常情况下我们配置启动服务只需要启动响应的service即可,例如:service nginx start
但是,这样做,nginx为后台进程模式运行,就导致docker前台没有运行的应用,
这样的容器后台启动后,会立即自杀因为他觉得自己无事可做了
所以:最佳解决方案是,将你要运行的程序以前台进程的方式运行
-
查看容器日志: $docker logs -f -t --tail 【num】容器ID
-
-t:加入时间戳
-
-f:跟随最新的日志打印
-
--tail:数字,显示最后多少条‘
-
实例:
-
$docker run -d centos /bin/sh -c "while true; do echo hello zzyy; sleep 2;done"
-
查看容器内的进程 docker top [容器ID]
-
查看容器内部的袭击: docker inspect 容器ID
-
进入正在运行的容器,并以命令行交互
docker attach [容器ID】
docker exec -t [容器ID] 要做的命令: e.g: docker exec -t 67f1b8e1d497 ls -l /tmp
- 从容器内拷贝文件到主机上: $docker cp 容器ID:【待拷贝文件、文件夹】 【local文件夹】
4.3.3 常用命令
5 Docker 镜像
5.1 Docker镜像是什么?
Docker镜像是一种轻量级、可执行的独立软件包,用来打包软件运行环境和基于运行环境开发的软件,它包含运行某个软件所需的所有内容,包括:代码、运行时库、环境变量和配置文件等。
- UnionFS联合文件系统 --Docker镜像的底层实现
特性:一次同时加载多个文件系统,但是从外面来看,只能看到一个文件系统,联合加载会把各层文件系统叠加起来,这样最终的文件系统包含所有底层的文件和目录。
- Docker镜像加载原理:
- 分层的镜像
以tomcat为例:一层套一层
- 为什么Docker镜像要采用这种分层结构呢?
- 最大的好处:共享资源
- 比如:有多个镜像都从相同的base镜像构建而来,那么宿主机只需在磁盘上保存一份base镜像。同时内存中也只需要加载一份base镜像,就可以为所有容器服务了。而且镜像的每一层都可以被共享。
5.2 特点
Docker镜像都是只读的。
当容器启动时,一个新的可写层被加载到镜像的顶部。
这一层通常被称作“容器层”,“容器层”之下的都叫“镜像层”
5.3 Docker镜像的commit操作补充
- $docker commit: 提交容器的副本使之成为一个新的镜像
- $docker commit -m = "提交的描述信息" -a=“作者”容器ID 要创建的目标镜像名:[标签名]
- Examples:
- Step1:$docker run -it -p 8080:8080 tomcat
- -p: 主机端口:docker容器端口 (两个端口可以不一样 -)
- -P:随机分配端口
- -i:交互
- -t:终端
- Step2:故意删除tomcat的容器的文档
docker exec -it 66b71173a36e /bin/bash
ls -l
cd webapps/
rm -rf docs
- Step3:以现在的tomcat容器为文档commit一个新的镜像
docker commit -a="zzyy" -m="tomcat without docs" 66b71173a36e emma/mytomcat:1.2
- Step 4: 与原来的做对比
- 启动自己的emma/tomcat,他没有docs
- 启动原来的tomcat,它有docs
6 Docker容器数据卷 (volume)
先来看看Docker的理念:
- 将运用于运行的环境打包形成容器运行,运行可以伴随着容器,但是我们对数据的要求希望是持久化的,
- 容器之间希望有可能共享数据
Docker 容器产生的数据,如果不通过docker commit生成新的镜像,是的数据作为镜像的一部分保存下来,那么当容器删除后,数据自然就没有啦
为了能够保存数据,我们需要在docker中使用卷。
6.1 数据卷是什么?
卷:就是目录或文件,存在于一个或多个容器中。由docker挂载到容器,但不属于联合文件系统。因此能够绕过Union File System提供一些属于持久化存储或共享数据的特性。
卷的设计目的:实现数据持久化,完全独立于容器的生存周期,因此DOcker不会再容器删除时删除其挂载的数据卷。
特点:
- 数据卷可在容器之间共享或者重用数据
- 卷中的更改可以直接生效
- 数据卷中的更改不会包含在镜像的更新中
- 数据卷的生命周期一致持续到没有容器使用它为止
6.2 数据卷能干什么?
- 容器的持久化
- 容器间继承+共享数据
6.3 数据卷使用
6.3.1 容器内添加数据卷的方式
方式1:直接命令添加:$docker run -it -v /宿主机绝对路径目录:/容器内目录 镜像名
-v, --volume list Bind mount a volume
--volume-driver string Optional volume driver for the container
--volumes-from list Mount volumes from the specified container(s)
- 例如
- 1. 创建volume dir in host machine:/Users/Emma/3rd_libs/docker_study/myDataVolume
- 2. 运行并挂载volume:
- docker run -it -v /Users/Emma/3rd_libs/docker_study/myDataVolume:/dataVolumeContainer centos
- 3. 查看是否挂载成功
- 4. 容器和宿主机之间数据共享
- 5. 容器停止退出后,主机修改后数据是否同步 --答案:完全同步
- 6. 命令带权限:
- 容器内的volume dir只读,不可写
- 命令(带权限): docker run -it -v /宿主机绝对路径目录:/容器内目录:ro镜像名
方式2:通过DockerFile添加
什么是Dockerfile?
- JavaEE hello.java ==> hello.class
- Docker images ==> DockerFile
实现步骤:
详细步骤:
- 之所以用VOLUME指令的原因
- docker build生成镜像
docker build -f /Users/Emma/3rd_libs/docker_study/test01/DockerFile -t emma/centos .
- 但是主机的volume在哪呢??可以通过docker inspect containerid查看
备注:
6.4 小结
- 数据卷容器是什么?
- 定义:命名的容器挂载数据卷,其他容器通过挂载这个容器(父容器)实现数据共享,挂在数据卷的容器称之为数据卷容器。
- 总体介绍
- 以上一步新建的镜像emma/centos为模板并运行容器dc01/dc02/dc03
- 他们已经具有容器卷/dataVolumeContainer1 和/dataVolumeContainer2
- 容器间传递共享(--volumes-from)
- Step1: 先启动一个父容器dc01:
- docker run -it --name dc01 emma/centos
- Step2: dc02和dc03继承自dc02:
- 格式:--volumes-from
- 命令: dc02和dc03分别在dataVolumeContainer2各自新增内容
-
docker run -it --name dc02 --volumes-from dc01 emma/centos
-
docker run -it --name dc03 --volumes-from dc01 emma/centos
-
- Step3: 分别在3个container的volume中添加文件,发现containers之间可以共享
- 删除dc01,dc02修改后,dc03可否访问?? --可以;并不影响volume数据之间的共享
- Step1: 先启动一个父容器dc01:
- 结论: 容器之间配置信息的传递,数据卷的生命周期一直持续到没有容器使用它为止!
7 DockerFile解析
回顾上一节创建DockerFile:
-- 1. 手动编写dockerfile文件,必须符合规范 -- 2. 有这个文件后,直接docker build命令生成自定义经镜像 -- 3. run |
7.1 什么是DockerFile?
- DockerFile是用来构建Docker镜像的构建文件,是由一系列命令和参数构成的脚本
- 构建三步骤:dockerfile-》 docker build --》 docker run
- 文件是什么样? --以centos为例:
其中:scratch就是所有image的祖先
FROM scratch
MAINTAINER https://github.com/CentOS/sig-cloud-instance-images
ADD centos-6-docker.tar.xz /
LABEL org.label-schema.schema-version="1.0" \
org.label-schema.name="CentOS Base Image" \
org.label-schema.vendor="CentOS" \
org.label-schema.license="GPLv2" \
org.label-schema.build-date="20181006"
CMD ["/bin/bash"]
7.2 DockerFile构建过程解析
- Dockerfile内容的基础知识
- 每条保留至零都必须大写字母,且后面至少要跟随一个参数
- 指令按照从上到下顺序执行
- #表示注释
- 每条指令都会创建一个新的镜像层,并对镜像进行提交
- Docker执行Dockerfile的大致流程:
- docker从基础镜像运行一个容器
- 执行一条指令并对容器作出修改
- 执行类似docker commit的操作提交一个新的镜像层
- docker再基于刚提交的镜像运行一个新的容器
- 执行dockerfile中的吓一跳指令知道所有指令都执行完成
- 小结:
7.3 DockerFile体系结构 (保留字指令)
- FROM - 基础镜像,当前的镜像是基于哪个镜像的
- MAINTAINER - 镜像为活着的姓名和邮箱地址
- RUN - 容器构建时需要运行的命令
- EXPOSE - 当容器对外暴露出的端口
- WORKDIR - 指定在创建容器后,终端默认登录进来的工作目录,一个落脚点
- ENV - 用来在构建镜像过程中设置环境变量
- ADD - 拷贝+解压。将宿主机目录下的文件拷贝进镜像且ADD命令会自动处理URL和解压tar压缩包
- COPY - 拷贝。类似ADD,拷贝文件和目录到镜像中。将从构建上下文目录中<源路径>的文件/目录复制到新的一层的镜像内的<目标路径>位置
- COPY src dest
- COPY ["src","dest"]
- VOLUME - 容器数据卷,用于数据保存和持久化工作
- CMD - 指定一个容器启动时要运行的命令; DockerFile中可以有多个CMD命令,但只有最后一个生效;CMD会被docker run之后的参数替换
- ENTRYPOINT - 指定一个容器启动时要运行的命令;ENTRPOINT的目的和CMD一样,都是在指定容器启动程序和参数;
- 去CMD的区别:DockerFile中可以有多个CMD,但只有最后一个生效。
- ONBUILD - 当构建一个被继承的DockerFile时运行命令,父镜像在被子继承后父镜像的onbuild被触发
7.4 案例
- Base镜像(scratch): Docker Hub中99%的镜像都是通过在base镜像中安装和配置需要的软件构建出来的。
- 自定义镜像MyCentos:
- 初始centos
- 自定义mycentos,使其具备如下:
- 登陆后的默认路径
- vim编辑器
- 查看网络配置ifconfig支持
- 初始centos
7.3.1 实现
编写DockerFile
构建 docker build -f DockerFile路径 -t 新镜像名字:Tag .
docker build -f /Users/Emma/3rd_libs/docker_study/test02/DockerFile -t emma/mycentos:1.3 .
利用镜像run container
docker run -it emma/mycentos:1.3
列出镜像历史
CMD/ENTRYPOINT镜像实例:
- 都是指定一个容器启动时要运行的命令
- CMD
- DockerFile中可以有多个CMD指令,但是只有最后一个生效,CMD会被docker run之后的参数替换
- Case -- tomcat讲解演示
- docker run -it -p 7777:8080 tomcat
- docker run -it -p 7777:8080 tomcat ls -l
- ENTRYPOINT
- docker run之后的参数会被当做参数传递给ENTRYPOINT,之后形成新的命令组合
- Case:
ONBUILD
创建MyTomcat9镜像
- 要求和步骤
- 执行:
# 运行run:
docker run -d -p 9080:8080 --name myt9
-v /Users/Emma/3rd_libs/docker_study/myDataVolume/tomcat9/test:/usr/local/apache-tomcat-9.0.8/webapps/test #(数据卷)
-v /Users/Emma/3rd_libs/docker_study/myDataVolume/tomcat9/tomcat9logs:/usr/local/apache-tomcat-9.0.8/logs #(数据卷)
--privileged=true #(数据卷写权限)
Mytomcat9
小结:
8 Docker常用安装
总体步骤: 搜索镜像-拉取镜像-查看镜像-启动镜像-停止容器-移除容器
8.1 安装Tomcat
8.2 Docker安装mysql
- Search: docker search mysql
- Pull: docker pull mysql:5.6
- Run mysql
-
启动交互式运行: docker exec -it 08da34fc52a8 /bin/bash
8.3 Docker安装Redis
- Pull: docker pull redis:3.2
- Use image:
docker run -p 6379:6379
-v /Users/Emma/3rd_libs/docker_study/myDataVolume/myredis/data:/data
-v /Users/Emma/3rd_libs/docker_study/myDataVolume/myredis/conf/redis.conf:/usr/local/etc/redis/redis.conf
-d redis:3.2 redis-server /usr/local/etc/redis/redis.conf --appendonly yes
9 Docker本地发布到阿里云
9.1 本地image发布到阿里云流程
9.2 镜像的生成方法
- DockerFile
- 从容器创建一个新的镜像: docker commit [OPTIONS] 容器ID [REPOSITORY]:TAG]
- 将本地镜像push到云端
- 在阿里云端创建镜像仓库
- 将本地镜像推送到阿里云