一. Docker
1. 简介
- 基于Linux内核的Cgroup, Namespace, 以及Union FS等技术,对进程进行封装隔离,属于操作系统层面的虚拟技术,由于隔离的进程独立于宿主和其它的隔离进程,因此称为容器
- 最初实现是基于LXC, 从0.7以后开始去除LXC, 转而使用自行开发的Libcontainer, 从1.11开始, 则进一步演进为使用runC和Containerd
- Docker在容器的基础上,进行了进一步的封装,从文件系统、网络互联到进程隔离等等,极大的简化了容器的创建和维护,使得Docker技术比虚拟机技术更为轻便、快捷
2. Docker优势
- 更高效地利用系统资源
- 更快速的启动时间
- 一致的运行环境
- 持续交付和部署
- 更轻松的迁移
- 更轻松地维护和扩展
3. Docker与虚拟机对比
二. Docker安装
参考文章安装: Install Docker Engine on Ubuntu | Docker Documentation
三. 容器操作
启动:
docker run:
-it 交互
-d 后台运行
-p 端口映射
-v 磁盘挂载
启动已终止容器
docker start
停止容器
docker stop
查看容器进程
docker ps
查看容器细节
docker inspect
拷贝文件到容器内
docker cp file1 <containerid>:/file_to_path
docker退出容器,而不关闭容器: ctrl+q+p
docker退出容器,而关闭容器: exit
查询docker所有镜像
docker images
Docker镜像仓库
Docker hub: https://hub.docker.com
创建私有镜像仓库: docker run -d -p 5000:5000 registry
四. Dockerfile详解
Dockerfile一般分为四个部分:基础镜像信息、维护信息、镜像操作指令和容器启动时操作指令
常用命令
FROM:指定基础镜像, 必须为第一个指令
格式:
FROM <image>
FROM <image>:<tag>
FROM <image>@<digest>
示例:
FROM ubuntu
MAINTAINER: 维护信息
格式:
MAINTAINER <name>
示例
MAINTAINER ribbon
RUN:构建镜像时执行的命令
格式:
shell执行:RUN <command>
exec执行:RUN ["executable", "param1", "param2"]
示例:
RUN apk update
RUN ["/etc/execfile", "arg1", "arg2"]
RUN apt-get update && apt-get install这两条命令永远用&&连接,否则apt-get update构建层被缓存,会导致新package无法安装
ADD: 将本地文件添加到容器中,tar等类型会自动解压,可以访问网络资源,类似于wget
格式:
ADD <src> ... <dest>
示例:
ADD bin/amd64/httpserver /httpserver
COPY: 功能类似于ADD,但是不会解压缩文件,不能访问网络资源
在Dockerfile中使用multi-stage: Dockerfile 中的 multi-stage(多阶段构建) - sparkdev - 博客园
格式:
COPY<src> ... <dest>
示例:
COPYbin/amd64/httpserver /httpserver
CMD: 构建容器后调用,也就是在容器启动时才进行调用
格式:
CMD ["executable","param1","param2"] (执行可执行文件,优先)
CMD ["param1","param2"] (设置了ENTRYPOINT,则直接调用ENTRYPOINT添加参数)
CMD command param1 param2 (执行shell内部命令)示例:
CMD ["ethtool", "--help"]
CMD echo "1111"
ENTRTPOINT: 配置容器,使其可执行化。
格式:
ENTRYPOINT ["executable", "param1", "param2"] (可执行文件, 优先)
ENTRYPOINT command param1 param2 (shell内部命令)范例:
ENTRYPOINT /httpserver
CMD [-c]
LABAL: 用于为镜像添加源数据
格式:
LABEL <key>=<value> <key>=<value> <key>=<value> ...
范例:
LABEL multi.label1="value1" multi.label2="value2" other="value3"
ENV: 设置环境变量
格式:
ENV <key> <value>
范例:
ENV MY_SERVICE_PORT=80 UDP_PORT=90
EXPOSE: 指定外界交互的端口
格式:
EXPOSE <port> [<port>...]
示例:
EXPOSE 80
EXPOSE 80/tcp
EXPOSE 80 90
VOLUME: 用于指定持久化目录
格式:
VOLUME [<path>]
范例:
VOLUME ["/data", "/usr1/jenkins"]
USER:指定运行容器时的用户名或 UID,后续的 RUN 也会使用指定用户。
格式:
USER user
USER user:group
USER uid
USER uid:gid
USER user:gid
USER uid:group示例:
USER wwwARG: 用于指定传递给构建运行时的变量
格式:
ARG <name>[=<default value>]
示例:
ARG build_user=ribbon
五. Linux NameSpace详解
NamesSpace详解:
Linux NameSpace_Frank_Abagnale的博客-CSDN博客 这篇文章比较详细的介绍,可以参考这篇
NameSpace的常用操作
- 查看当前系统的namespace:
lsns -t <type>
- 查看某进程的namespace:
ls -la /proc/<pid>/ns/
- 查看某namespace运行命令
nsenter -t <pid> -n
六. Linux Cgroups详解
Cgroups详解
容器核心:cgroups - 简书 可以参考这篇文章来进行了解
模拟Cgroups控制CPU资源
通过模拟来更好的熟悉Cgroups控制资源的效果, 首先创建cpudemo文件夹
执行top可以看到busyloop占用两个CPU资源
将进程添加进cgroup进程配置组
设置cpuquota
可以看到成功将占用200%CPU资源的降低成1%
模拟Cgroups超过限定memory资源被OOM kill
/sys/fs/cgroup/memory目录下创建memorydemo文件夹
运行消耗内存程序, 使用watch查询内存使用情况
将进程配置进cgroups配置组
设置最大内存大小
等待程序被OOM kill, dmesg可以看到杀死信息
备注:删除自主创建的cgroup文件夹, 需要使用cgroup-tools
七. Union FS
Docker前面使用的技术都是源于linux的技术并没有创新,而Docker的创新正是文件系统。
1. 概念:
- 将不同目录挂载在同一个虚拟文件系统下的文件系统
- 支持为每一个成员目录设定readonly、readwrite和without-able权限
- 文件系统分层,对readonly权限的目录可以进行逻辑上的修改,这里的修改属于增量的,不影响readonly部分
- 通常Union FS的用途: 多个disk挂载到同一个目录下, 另一个是将readonly部分和writeable的目录联合在一起
2. 图解Union FS
Docker镜像的设计中,引入了层(layer)的概念,也就是说,用户制作镜像的每一步操作,都会生成一个层,也就是一个增量rootfs(一个目录),这样应用A和应用B所在的容器共同引用相同的ubuntu操作系统层、Golang环境层(作为只读层),而各自有各自应用程序层,和可写层。启动容器的时候通过UnionFS把相关的层挂载到一个目录,作为容器的根文件系统。
3. 容器存储驱动
4. 模拟Union FS更好理解效果
由于docker当前版本上使用的是overlayFS的存储驱动,所以我们就以overlay挂载方式来进行实验, overlayfs通过三个目录:lower目录、upper目录、以及work目录实现,其中lower目录可以是多个,work目录为工作基础目录,挂载后内容会被清空,且在使用过程中其内容用户不可见,最后联合挂载完成给用户呈现的统一视图称为为merged目录。
执行如下命令:
mkdir upper lower merged work echo "lower" > lower/in_lower.txt echo "from lower" > lower/in_both.txt echo "from upper" > upper/in_both.txt echo "upper" > upper/in_upper.txt path=$(pwd) mount -t overlay overlay -o lowerdir=${path}/lower,upperdir=${path}/upper,workdir=${path}/work ${path}/merged
可以看到使用overlay存储驱动文件挂载实现的效果。实验完成后恢复环境需要先umount merged目录后, 再将四个目录进行删除操作,先删除其他的可能会出现rm: cannot remove 'merged/': Device or resource busy,导致merged目录删除不掉。
八. Docker网络
1. 安装工具
Centos系统:
$ yum install bridge-utils
Ubuntu系统:
$ apt-get install bridge-utils
2. Docker网络模式
查询docker内置的网络模式
docker run选择运行的网络模式
1)host模式:使用 --net=host 指定。 跟host公用一套net
2)none模式:使用 --net=none 指定。网络配置需要由自己来进行配置
3)bridge模式:使用 --net=bridge 指定,默认设置。
docker网络逻辑图 网桥和NAT
4)container模式:使用 --net=container:NAME_or_ID 指定。使用其他容器的网络配置
网络模式图大概如下图所示
3. 模拟Docker起网桥的操作
创建--net=none nginx
创建network namespace
建立网络namespace链接
检查当前已经创建的网桥设备
创建veth对
进行A网络配置
进行B网络配置
生成eth0网络设备在nginx docker中
给eth0配置ip 网关
nginx可以访问
配置nat, 让windows通过ip也可以访问
使用完删除指定nat规则
备注:
如果在windows环境下想进行上述docker的操作实验,可以安装VMware workstation,通过挂载镜像的方式安装虚拟机, 如果需要使用得到外网还有配置组成局域网可以参考 准备Linux环境这一章节: 使用spark组件个人测试大数据环境搭建完整流程(这是使用vmware虚拟机的方式来实现的)_钟哥哥实在帅的博客-CSDN博客