Docker：独具魅力的开源容器引擎_docker 开源，面试字节跳动的大数据开发工程师该怎么准备-CSDN博客

本文链接：https://blog.csdn.net/2401_84186026/article/details/137844678

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

Docker 的开源项目诞生于 2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub 上进行维护。Docker 自开源后受到广泛的关注和讨论，以至于 dotCloud 公司后来都改名为 Docker Inc 。

2、虚拟化技术

在计算机技术中，虚拟化（Virtualization）是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以用比原本的组态更好的方式来应用这些资源。

3、Docker 优势

作为一种新兴的虚拟化方式，Docker 跟传统的虚拟化方式相比具有众多的优势。首先，Docker 容器的启动可以在秒级实现，这相比传统的虚拟机方式要快得多。其次，Docker 对系统资源的利用率很高，一台主机上可以同时运行数千个 Docker 容器。

容器除了运行其中应用外，基本不消耗额外的系统资源，使得应用的性能很高，同时系统的开销尽量小。传统虚拟机方式运行 10 个不同的应用就要起 10 个虚拟机，而Docker 只需要启动 10 个隔离的应用即可。

具体说来，Docker 在如下几个方面具有较大的优势：

更快速的交付和部署： Docker 可以快速创建容器，快速迭代应用程序，并让整个过程全程可见，使团队中的其他成员更容易理解应用程序是如何创建和工作的。 Docker 容器很轻很快！容器的启动时间是秒级的，大量地节约开发、测试、部署的时间；
更高效的虚拟化：Docker 容器的运行不需要额外的 hypervisor 支持，它是内核级的虚拟化，因此可以实现更高的性能和效率；
更轻松的迁移和扩展：Docker 容器几乎可以在任意的平台上运行，包括物理机、虚拟机、公有云、私有云、个人电脑、服务器等。这种兼容性可以让用户把一个应用程序从一个平台直接迁移到另外一个；
更简单的管理：使用 Docker，只需要小小的修改，就可以替代以往大量的更新工作。所有的修改都以增量的方式被分发和更新，从而实现自动化并且高效的管理。

二、Docker 的基本概念

1、Docker 组成部分

Docker 的架构图：

一个完整的 Docker 主要由以下几部分构成：

	组成部分
1	Docker 主机	Docker 主机（Host）是可以是一个物理机或者虚拟机，用于运行 Docker 服务进程和容器
2	Docker 服务端	Docker 服务端（Server）也叫 Docker Daemon 其实就是 Docker 的服务端。它负责监听 Docker API 请求（如 Docker Client）并管理 Docker 对象（Docker Objects），如镜像、容器、网络、数据卷等
3	Docker 客户端	Docker 客户端（Client）是用户与 Docker 进行交互的最主要方式。当在终端输入 Docker 命令时，对应的就会在服务端产生对应的作用，并把结果返回给客户端。Docker Client 除了连接本地服务端，通过更改或指定 DOCKER_HOST 连接远程服务端
4	Docker 镜像	Docker 镜像（Images）可以理解为是是用于创建 Docker 容器的模板
5	Docker 容器	Docker 容器（Container）是独立运行的一个或一组应用，是镜像运行时的实体
6	Docker 仓库	Docker 仓库（Registry）是保存镜像的仓库，类似于 git 和 svn 这样的版本控制系统

2、Docker 镜像

Linux 操作系统包括 Linux 内核和用户空间两部分，当 Linux 系统启动后，会挂载 root 文件系统为其提供用户空间支持。Docker 镜像就类似于这样一个 root 文件系统，Docker 镜像中含有启动容器所需要的文件系统及所需内容，因此镜像主要用于创建并启动 Docker 容器。

Docker 镜像里包含一层层的文件系统，叫做 Union File System（Union FS，联合文件系统）。联合文件系统可以将多个目录挂载到一起，从而形成一整个虚拟文件系统，该虚拟文件系统的目录结构就像是普通的 Linux 目录结构一样。Docker 通过这些文件系统，再加上宿主机的内核就构成了一个 Linux 的虚拟环境。

在联合文件系统中，每一层文件系统我们叫做一层 layer，联合文件系统可以对每一层文件系统设置只读（readonly）、读写（readwrite）和写出（writeout-able）三种权限。

但是 Docker 镜像中每一层的文件系统都是只读的，构建镜像的时候，从一个最基本的操作系统开始，每个构建的操作都相当于做了一层的修改，增加了一层文件系统，这样一层一层的网上叠加，上层的修改会覆盖底层该位置的可见性。当我们使用镜像的时候，只会看到一个完整的整体，而不知道也无需知道里面有几层文件系统。

3、Docker 容器

Docker 容器就相当于从模板复制过来运行时的实例，Docker 容器可以被创建、复制、暂停和删除等。每一个 Docker 容器在运行时都是以镜像为基础层，并在镜像的基础上创建当前容器的存储层，容器存储层的生存周期与容器是一致的，因此当某一个容器删除后，该容器存储层的数据也会随之被删除掉。

4、Docker仓库

Docker 仓库是一个集中存储、分发 Docker 镜像的仓库，客户端的 docker pull 和 docker push 命令都是直接与 Docker 仓库发生交互的。

一个 Docker 仓库可以包含多个仓库，每个仓库可以包含多个标签，这些标签对应每一个镜像。一般情况下，一个仓库可能会包含同一个软件的不同版本（例如 Nginx 1.18 和 1.20 版本等）镜像，标签就类似于该软件的不容版本，客户端可以通过 <仓库名>:<标签> 的格式来指定具体版本的软件镜像，如不指定，默认会以 latest 作为标签。

按照镜像是否公开，Docker 仓库可分为公共仓库和私有仓库两种。Docker hub 作为 Docker 官方的公共仓库，已经保存了大量的常用镜像，可以方便用户直接使用；如果不想使用公共仓库，也可使用 Image registry 这一 Docker 官方提供的私有仓库部署工具。

三、部署技术发展史

1、物理机时代

在虚拟机出现于业务环境中以前，应用往往部署在物理机器上，但是无论是 Windows 服务器还是 Linux 服务器都缺乏相应的技术手段保证一台服务器上可以稳定且安全的同时运行多个应用，因此，这样的部署方式存在弊端就是：空闲资源难以得到复用，部署异构系统时需要重新采购物理资源，大量中小容量的机器使得运维成本提升。

在这样的情况下，如何降低基础设施的管理成本便成为急切的需求。

2、VMware 时代

为解决上述问题，VMware 推出了他们的产品————虚拟机，虚拟机的出现使得用户在一台物理机上能够独立运行多个相互隔离的系统，通过对资源的抽象化使得主机资源能够被有效复用，这对于企业IT管理十分有益。

然而，虚拟机同样也会带来一些问题：

大量独立系统的运行会占用许多额外开销，消耗宿主机器资源，资源竞争时可能会严重影响系统响应；
此外，每运行新的虚拟机都需要重新配置一遍环境，和在物理机上的情况基本无异，重复的环境配置操作则会消耗开发和运维人员的工作时间。

此时需求便关注到如何减少虚拟化时的资源损耗，同时还能保证隔离性，以及使应用的上线周期更短，这便引导了容器技术的发展。

3、容器化时代

现代的容器技术起源于 Linux ，其是很多人长期的、持续的贡献产物，自 2000 年开始各家类 Unix操作系统厂商开始陆续推出容器相关的项目。

2008 年 Google 的 Cgroups 贡献给 Linux kernel 2.6.24 后，创造了LXC（ Linux Containers），实现了多个独立的 Linux 环境（容器）可运行在同一个内核。对于一个完整独立运行环境来说，需要包含三个关键：环境隔离、资源控制和文件系统。在 LXC 中则分别通过 Namespace、Cgroups、rootfs 来实现相应的能力：

Namespace — 环境隔离：LXC 将内核全局资源封装，每个 Namespace 都有一份独立的资源，使得不同的进程在各自 Namespace 内对同一种资源的使用互不干扰，不会影响其他 Namespace 下的资源，实现了进程隔离；
Cgroups - 资源控制：LXC 通过 Cgroups 对资源进行控制，限制和隔离一组进程对系统资源的使用。在 Cgroups 出现之前 OS 只能对一个进程做资源限制，而 Cgroups 可以对进程进行任意分组，如何分组由用户自定义，借此实现对于一个 Namespace 的资源调度管理；
rootfs - 文件系统：rootfs 挂载在容器根目录上，用来为容器进程提供隔离后执行环境的文件系统。rootfs 包含一个操作系统所涉及的文件、配置和目录，在 Linux 操作系统内核启动时，内核会先挂载一个只读的 rootfs，当系统检测其完整性之后，决定是否将其切换到读写模式。

在通过 LXC 构建容器后，一台宿主机能够实现多个相互隔离应用的运行。同时，共享内核使得每个容器又很轻量，解决了运行大量隔离应用时虚拟机资源消耗过重的弊端。

然而，LXC 虽解决了应用隔离的问题，但却只是轻量的容器技术，没有解决各平台软件交付标准不统一的问题，如不同的软件交付工具、应用运行规范不统一、环境依赖复杂等带来的配置开销。这些问题使容器技术的推广依然比较有限，直到 Docker 的出现。

4、Docker 时代

早期 Docker 是基于 LXC 开发，因此 Docker 容器也有着和 LXC 相似的特性，仅需要较少资源便可以启动。但不同于 LXC，Docker除了容器运行，还是一个打包、分发和运行应用程序的平台。Docker 允许将应用和其依赖的运行环境打包在一起，打包好的 “集装箱“（镜像）能够被分发到任何节点上执行，无需再进行配置环境的部署。这样使得 Docker 解决了开发和部署应用时环境配置的问题，规范化了应用交付和部署，降低了部署测试的复杂度以及开发运维的耦合度，极大提升了容器移植的便利性，便于构建自动化的部署交付流程。

Docker 和虚拟机都是资源虚拟化发展的产物，但二者在架构上又有区别：