看点一
容器和Docker发展历史
容器技术发展是从上世纪70年代开始,在算力飞速发展的背景下,科学家围绕着如何提高资源利用率进行研究,因此产生了最早的资源隔离技术,如chroot。资源隔离技术持续发展到21世纪初期,Namespace、Cgroup等资源隔离技术加入Linux内核,形成了内核标准的LXC容器技术。
2010年前后,云计算逐步发展,共享经济和互联网的趋势越来越明显,要求企业对客户的需求能够精准把控和快速满足,因此出现了敏捷迭代。在敏捷迭代的场景下,如果每次都需要工程师重复地去规划底层资源的隔离,配额,环境配置等,整体流程就无法实现敏捷。
基于这些背景,一个叫做Solomon Hykes的工程师提出了现代化容器的解决方案,他把这些技术整合到一个开箱即用的软件中,并且加入了诸多如用户友好的管理界面、规模化管理、存储格式等功能,这些能力如今都成为了容器的标准能力。
2014到2017年,Google等头部厂商先后开源围绕容器生态的解决方案,并试图掌握技术主导权,由此分化出CNCF和OCI等不同的技术组织和标准。
2018年后,CNCF主导的容器生态获得巨大成功,驱动了容器技术为基础的新一代PaaS的发展,孵化出了如应用开发运维能力(DevOps),应用架构(微服务),无服务器架构等领域的新方案。
以上就是容器技术大概的发展历史。提起容器技术大家会联想到Docker,其实容器技术并不特指Docker,但Docker在整个容器技术领域有着非常重要的作用,主要表现在三个方面:
一是Docker是容器技术的开创者,Docker在LXC的基础上降低了容器技术使用的复杂度,提出了大规模使用的管理运维方案。开创性提出了镜像文件实现了应用和运行环境的“一次封装到处运行”,进而又推动技术的普及度。
二是Docker是容器技术的推广者,DockerHub镜像仓库构建了基于镜像的开发者社区和生态,让全球开发者都参与到生态建设和分享中来,为容器技术的普及做出了极大贡献,Docker也凭此获得高速发展和领导者地位。
三是Docker是标准的推动者,Docker贡献和领导了容器镜像和运行时的OCI标准制定,加速了容器技术的发展。同时还贡献了containerd,参与了CRI标准制定,推动了容器生态和组织的发展,最终达到工业级应用。
尽管近些年Docker在容器技术主导权的地位争夺中发展不太乐观,但Docker经过十年经营,在市场认知度、学习资源的完善度、客户应用的成熟度等方面仍具有巨大优势,是了解容器发展历史和技术的首推学习对象。
看点二
Docker为代表的容器技术介绍
当谈论Docker的时候,并不是谈论单独的产品,而是Docker公司针对容器技术、管理和生态的一整套解决方案。
Docker由RunC、Containerd、Docker Engine、Docker Compose、Docker Swarm等部分组成:
RunC(low-level)是一个轻量级的工具,用来运行容器,也是标准化的产物,是在围绕容器格式和对运行时制定的一个开放的工业化标准。
Containerd(high-level)是容器虚拟化技术,从Docker中剥离出来,形成开放容器接口(OCI)标准的一部分,起到承上启下的作用,对上接受命令参数的内容,对下调用RunC实际的操作容器服务。
Docker Engine是执行Docker标准的后台应用程序(Dockerd),用来构建镜像,运行容器,管理网络和存储等。它的API不遵循CRI标准。任何第三方平台与其集成必须开发对接其接口(Docker-shim)。
Docker Compose是基于YAML规范使用脚本来定义和简化多容器部署的工具。Docker Swarm是Docker集群管理平台。
Docker的核心概念是镜像,镜像含有启动Docker容器所需的文件系统结构及内容。可以说,镜像是Docker设计精巧的、引爆容器技术的核弹。
镜像有五个特性:一是封装,Docker镜像将应用及其类库,配置、环境等依赖全部打包紧耦合到一个文件实现应用迁移,让应用到任意环境都可开箱并立即正常运行。
二是分层,Docker镜像由基础层(base image)和应用层构成,而应用层可以根据对底层的依赖程度,抽象出不同的基础层。
三是共享,基于分层文件系统,不同的层可以被共享和依赖,使得镜像通过标准API操作进行复制时,只需要获取数据不同的层即可,不需要所有依赖都被复制(底层依赖已经存在情况下,会通过层的UUID进行校验)。
四是轻量,多个容器通过同一个镜像创建时,不需要对镜像进行复制(对比虚拟机),只需要将镜像层挂载为只读,然后再加上一个可读写层即可。
五是写时复制,只有在可读写层的数据变化且需要保存写入新的层的时候,Docker镜像才会生成新的镜像层。写时复制与分层机制可以大大减少磁盘空间的占用和容器启动时间。
Docker基于镜像去创建容器的具体步骤是:首先将BaseImage内容作为容器的rootfs以只读方式挂载。然后Docker Daemon继续解析镜像的其它层,如ADD,ENV等信息,对容器的运行时环境进行初始化。初始化后Docker Daemon继续解析镜像文件,执行CMD信息中的命令并执行,使得容器进入运行态。
Docker在计算时会用到Namespace和Cgroup技术,Docker会基于Namespace技术进行包括网络、文件系统和环境等在内的资源隔离。Linux Cgroup就是Linux内核中用来为进程设置资源限制的一个重要功能,全称是Linux Control Group,主要作用是限制一个进程能够使用的资源上限,包括CPU、内存、磁盘、网络带宽等等。
镜像仓库是用来存储和分发容器镜像的应用。企业和个人对产出的镜像文件可以集中管理,便于进行权限控制、安全控制、能力共享、生态建设等。镜像仓库可以对基于容器镜像的应用进行统一的版本,分发管理等。镜像仓库可以简化和优化企业基于容器的开发测试管理和集成,运维流程等(如CICD)。
看点三
容器其他重要概念与应用场景
除了容器技术生态外,容器还有着其他的重要概念。Docker和虚拟机都是资源隔离的方案。Docker是基于OS的资源隔离技术,Docker Engine占用资源很少,物理机资源基本上被容器应用和物理机操作系统使用。虚拟机多了一层Guest OS(虚拟机操作系统),若一台物理机上跑10台虚拟机,则有10个Guest OS的资源损耗,Hypervisor层虚拟化,降低了虚拟机性能。
容器安全也是现在一个比较重要的领域,目前容器安全主要注重四个方面,一是镜像安全,如果使用了不安全的外部镜像依赖,镜像中有系统漏洞、缺陷,或者被恶意植入病毒和后门等,都会对容器造成较大威胁。二是容器逃逸,由于容器是基于OS共享的架构,如果攻击者利用容器漏洞,获取OS root权限,文件系统权限等,都会对整个系统造成极大危害。三是配置安全,即对容器引擎,镜像仓库,Kubernetes等没有进行正确的权限配置等造成的入侵。四是漏洞管理,针对镜像中的类库文件漏洞,如apache log4j2漏洞,需要对镜像文件进行及时识别和更新。
容器技术在深入到企业级应用时,还要有巨大的知识需要掌握,比如管理调度、大规模网络的网络性能、容器日志运行监控等,这些都需要对相应的解决方案进行深入学习。另外,由于容器技术的特性和生态发展,云服务厂商也在普遍使用容器技术构建企业级PaaS平台。
容器的应用场景主要有六个:一是快速开发,由于公有镜像仓库有着庞大的开源社区和开放的镜像资源,可以让开发者实现开箱即用。二是多云应用,因为容器与IaaS解耦以及容器本身轻量的特性让容器更便于去做多云的迁移。三是应用隔离,在同一个服务器里需要运行多个应用时,可以使用容器去做运行环境和依赖的隔离。四是微服务架构,容器与微服务架构轻量、敏捷弹性的特性适配。五是能力沉淀,利用容器技术可以将前期架构的运行环境封装起来,方便后来的技术人员开箱即用,这也是对企业能力的沉淀。六是持续集成和部署,容器可以保障开发测试环境的一致性,实现快速迭代和部署。
本期分享转自深信服大云售前专家YJ在信服云《云集技术学社》的直播课。