【云原生训练营】模块三 Docker核心技术

最新推荐文章于 2023-07-19 23:49:03 发布
最新推荐文章于 2023-07-19 23:49:03 发布
阅读量1k 收藏 2
点赞数 2
分类专栏： 云原生 文章标签： docker 云原生 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39578545/article/details/124621283
版权

Docker核心技术

1、系统架构

在这里插入图片描述
微服务改造：
分离微服务的方法建议：
• 审视并发现可以分离的业务逻辑业务逻辑
• 寻找天生隔离的代码模块，可以借助于静态代码分析工具
• 不同并发规模，不同内存需求的模块都可以分离出不同的微服务，此方法可提高资源利用率，节省成本
一些常用的可微服务化的组件：
• 用户和账户管理
• 授权和会话管理
• 系统配置
• 通知和通讯服务
• 照片，多媒体，元数据等

微服务间通讯
点对点
在这里插入图片描述
API网关
服务发现、调用、鉴权
在这里插入图片描述

2、Docker

Docker概念

  • 基于 Linux 内核的 Cgroup，Namespace，以及 Union FS 等技术，对进程进行封装隔离，属于操作系统层面的虚拟化技术，由于隔离的进程独立于宿主和其它的隔离的进程，因此也称其为容器。
  • 最初实现是基于 LXC，从 0.7 以后开始去除 LXC，转而使用自行开发的 Libcontainer，从 1.11 开始，则进一步演进为使用 runC 和 Containerd。
  • Docker 在容器的基础上，进行了进一步的封装，从文件系统、网络互联到进程隔离等等，极大的简化了容器的创建和维护，使得 Docker 技术比虚拟机技术更为轻便、快捷。

Docker好处：

  • 更高效地利用系统资源
  • 更快速的启动时间
  • 一致的运行环境
  • 持续交付和部署
  • 更轻松地迁移
  • 更轻松地维护和扩展
    在这里插入图片描述

在这里插入图片描述

安装Docker

在 ubuntu 上安装 Docker 运行时，参考 https://docs.docker.com/engine/install/ubuntu/
$ sudo apt-get update
$ sudo apt-get install \
apt-transport-https \
ca-certificates \
curl \
gnupg-agent \
software-properties-common
$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
$ sudo add-apt-repository \
"deb [arch=amd64] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) \
stable"
$ sudo apt-get update
$ sudo apt-get install docker-ce docker-ce-cli containerd.io

容器操作

启动：docker run
-it 交互
-d 后台运行
-p 端口映射
-v 磁盘挂载

启动已终止容器：docker start

停止容器：docker stop

查看容器进程：docker ps

查看容器细节：docker inspect <containerid>

进入容器：docker exec -it xxx bash

Docker attach
通过 nsenter
PID=$(docker inspect --format "{{ .State.Pid }}" <container>)
$ nsenter --target $PID --mount --uts --ipc --net --pid

查询docker内容器的pid：docker inspect xxx | grep -i pid


#进入当前容器后开启一个新的终端，可以在里面操作。(常用)
docker exec 
#进入容器正在执行某个命令的终端，不能在里面操作
docker attach

拷贝文件至容器内：
docker cp file1 <containerid>:/file-to-path

将 Dockerfile 打包成镜像

docker build -t cncamp/httpserver:${tag} .
docker push cncamp/httpserver:v1.0

运行容器
docker run -d cncamp/httpserver:v1.0

六大子系统

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

关于namespace的常用操作

查看当前系统的 namespace：
lsns –t <type>

查看某进程的 namespace：
ls -la /proc/<pid>/ns/

进入某 namespace 运行命令：
nsenter -t <pid> -n ip addr

1、在新 network namespace 执行 sleep 指令：
unshare -fn sleep 60

2、查看进程信息
ps -ef|grep sleep
root       32882    4935  0 10:00 pts/0    00:00:00 unshare -fn sleep 60
root       32883   32882  0 10:00 pts/0    00:00:00 sleep 60

3、查看网络 Namespace
lsns -t net
4026532508 net       2 32882 root unassigned                                unshare

4、进入改进程所在 Namespace 查看网络配置，与主机不一致
nsenter -t 32882 -n ip a
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

Cgroups

  • Cgroups （Control Groups）是 Linux 下用于对一个或一组进程进行资源控制和监控的机制；
  • 可以对诸如 CPU 使用时间、内存、磁盘 I/O 等进程所需的资源进行限制；
  • 不同资源的具体管理工作由相应的 Cgroup 子系统（Subsystem）来实现 ；
  • 针对不同类型的资源限制，只要将限制策略在不同的的子系统上进行关联即可 ；
  • Cgroups 在不同的系统资源管理子系统中以层级树（Hierarchy）的方式来组织管理：每个 Cgroup 都可以
    包含其他的子 Cgroup，因此子 Cgroup 能使用的资源除了受本 Cgroup 配置的资源参数限制，还受到父
    Cgroup 设置的资源限制 。

在这里插入图片描述
在这里插入图片描述

文件系统

Union FS

  • 将不同目录挂载到同一个虚拟文件系统下 （unite several directories into a single virtual filesystem）的文件系统

Linux

  • 在启动后，首先将 rootfs 设置为 readonly, 进行一系列检查, 然后将其切换为 “readwrite”供用户使用。
    在这里插入图片描述

Docker 启动

  • 初始化时也是将 rootfs 以 readonly 方式加载并检查，然而接下来利用 union mount 的方式将一个readwrite 文件系统挂载在 readonly 的 rootfs 之上；
  • 并且允许再次将下层的 FS（file system） 设定为 readonly 并且向上叠加。
  • 这样一组 readonly 和一个 writeable 的结构构成一个 container 的运行时态, 每一个 FS 被称作一个 FS层

容器存储驱动
在这里插入图片描述

以OverlayFS为例
OverlayFS 也是一种与 AUFS 类似的联合文件系统，同样属于文件级的存储驱动，包含了最初的 Overlay 和更新更稳定的 overlay2。

Overlay 只有两层：upper 层和 lower 层，Lower 层代表镜像层，upper 层代表容器可写层。
在这里插入图片描述

网络模型

Null(–net=None)

  • 把容器放入独立的网络空间但不做任何网络配置；
  • 用户需要通过运行 docker network 命令来完成网络配置。

Host

  • 使用主机网络名空间，复用主机网络。

Container

  • 重用其他容器的网络。

Bridge（–net=bridge）

  • 使用 Linux 网桥和 iptables 提供容器互联，Docker 在每台主机上创建一个名叫 docker0的网桥，通过 veth pair 来连接该主机的每一个 EndPoint。

Remote（work with remote drivers）

  • Underlay：使用现有底层网络，为每一个容器配置可路由的网络IP
  • Overlay：通过网络封包实现，跨主机网络，是一个内置的基于 VXLAN 的网络驱动。

在这里插入图片描述
这一个过程是docker的驱动做的，在容器启动进行端口映射的时候，会写入到iptables-save -t nat
在这里插入图片描述

测试自主搭建network
https://github.com/cncamp/101/blob/master/module3/setup-network.md

1、Create network ns
mkdir -p /var/run/netns
find -L /var/run/netns -type l -delete

2、Start nginx docker with non network mode
docker run --network=none  -d nginx
Check corresponding pid
docker ps|grep nginx
docker inspect <containerid>|grep -i pid
"Pid": 876884,
"PidMode": "",
"PidsLimit": null,

3、Check network config for the container
nsenter -t 876884 -n ip a

4、Link network namespace
export pid=876884
ln -s /proc/$pid/ns/net /var/run/netns/$pid
ip netns list

5、Check docker bridge on the host
brctl show
ip a
4: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:35:40:d3:8b brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:35ff:fe40:d38b/64 scope link
       valid_lft forever preferred_lft forever

6、Create veth pair
ip link add A type veth peer name B

7、Config A
brctl addif docker0 A
ip link set A up

8、Config B
SETIP=172.17.0.10
SETMASK=16
GATEWAY=172.17.0.1
ip link set B netns $pid
ip netns exec $pid ip link set dev B name eth0
ip netns exec $pid ip link set eth0 up
ip netns exec $pid ip addr add $SETIP/$SETMASK dev eth0
ip netns exec $pid ip route add default via $GATEWAY

9、Check connectivity
curl 172.17.0.10

VXLAN
在这里插入图片描述

Overlay network sample — Flannel

  • 同一主机内的 Pod 可以使用网
    桥进行通信。
  • 不同主机上的 Pod 将通过
    flanneld 将其流量封装在 UDP
    数据包中。

在这里插入图片描述
在这里插入图片描述

理解构建上下文（Build Context）

  • 当运行 docker build 命令时，当前工作目录被称为构建上下文。
  • docker build 默认查找当前目录的 Dockerfile 作为构建输入，也可以通过 -f 指定 Dockerfile。
  • docker build -f ./Dockerfile
  • 当 docker build 运行时，首先会把构建上下文传输给 docker daemon，把没用的文件包含在构建上下文时，会导致传输时间长，构建需要的资源多，构建出的镜像大等问题。
  • 试着到一个包含文件很多的目录运行下面的命令，会感受到差异；
    • docker build -f $GOPATH/src/github.com/cncamp/golang/httpserver/Dockerfile；
    • docker build $GOPATH/src/github.com/cncamp/golang/httpserver/；
  • 可以通过.dockerignore文件从编译上下文排除某些文件。
  • 因此需要确保构建上下文清晰，比如创建一个专门的目录放置 Dockerfile，并在目录中运行 docker build。

Build Cache

构建容器镜像时，Docker 依次读取 Dockerfile 中的指令，并按顺序依次执行构建指令。

Docker 读取指令后，会先判断缓存中是否有可用的已存镜像，只有已存镜像不存在时才会重新构建。

  • 通常 Docker 简单判断 Dockerfile 中的指令与镜像。
  • 针对 ADD 和 COPY 指令，Docker 判断该镜像层每一个文件的内容并生成一个 checksum，与现存镜像比较时，Docker 比较的是二者的 checksum。
  • 其他指令，比如 RUN apt-get -y update，Docker 简单比较与现存镜像中的指令字串是否一致。
  • 当某一层 cache 失效以后，所有层级的 cache 均一并失效，后续指令都重新构建镜像。

Dockerfile常用指令

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Docker镜像管理

docker save/load
docker tag
docker push/pull

docker tag 命令可以为容器镜像添加标签
docker tag 0e5574283393 hub.docker.com/cncamp/httpserver:v1.0
hub.docker.com： 镜像仓库地址，如果不填，则默认为 hub.docker.com
cncamp: repositry
httpserver：镜像名
v1.0：tag，常用来记录版本信息


创建私有镜像仓库
docker run -d -p 5000:5000 registry

课后练习

  • 编写 Dockerfile 将练习 2.2 编写的 httpserver 容器化
    FROM ubuntu
ENV MY_SERVICE_PORT=80
ENV MY_SERVICE_PORT1=80
ENV MY_SERVICE_PORT2=80
ENV MY_SERVICE_PORT3=80
LABEL multi.label1="value1" multi.label2="value2" other="value3"
ADD bin/amd64/httpserver /httpserver
EXPOSE 80
ENTRYPOINT /httpserver
  • 通过 nsenter 进入容器查看 IP 配置
    在这里插入图片描述
果子哥丶
关注
专栏目录
云原生开发者训练营启动！3天教会你玩转Serverless
阿里巴巴中间件
08-12 2212
立即报名：https://developer.aliyun.com/learning/trainingcamp/serverless/1?accounttraceid=cb96a7edbf404ca9a88107985dd86798zzta 随着以 Kubernetes 为代表的云原生技术成为云计算的容器界面，Kubernetes 成为云计算的新一代操作系统。如今越来越多用户已习惯使用云服务，而不是自己搭建存储系统、部署数据库软件。当这些 BaaS 云服务日趋完善时，Serverless 因为屏蔽了服务器
云原生的弹性 AI 训练系列之一：基于 AllReduce 的弹性分布式训练实践
吉小白的博客
03-16 475
引言 随着模型规模和数据量的不断增大，分布式训练已经成为了工业界主流的 AI 模型训练方式。基于 Kubernetes 的 Kubeflow 项目，能够很好地承载分布式训练的工作负载，业已成为了云原生 AI 领域的事实标准，在诸多企业内广泛落地。 尽管 Kubeflow 让基于 Kubernetes 的大规模分布式训练变得可行，但是云原生的极致弹性、降本增效等特性在人工智能场景下没有得到很好地释放。 为了解决目前在云原生 AI 场景下的成本高，资源利用率低等问题，TKE AI 团队在 Kubeflow 社区
【云原生训练营】模块一 Go语言特性
果子哥丶的博客
05-03 1949
Go支持的特性： Go语言是一个可以编译高效，支持高并发的，面向垃圾回收的全新语言。 秒级完成大型程序的单节点编译 依赖管理清晰 不支持继承，程序员无需花费精力定义不同类型之间的关系 支持垃圾回收，支持并发执行，支持多线程通讯 对多核计算机支持友好
极客时间&马哥教育-云原生训练营第一周作业-20221016
Tony‘s blog
10-23 1143
1、了解namespace技术，并学习常见的namespace技术的分类和作用 2、二进制方式安装docker 3、熟悉使用docker数据卷 4、熟悉使用docker几种网络模式 5、了解docker的架构，熟悉使用常用的docker命令（补充作业） 6、了解什么是容器（补充作业） 7、理解什么是镜像（补充作业） 8、了解什么是运行时（补充作业） 9、了解docker存储引擎（补充作业）
架构师进阶训练营视频课程
05-22
5. **云计算与容器化**：了解云原生架构，学习如何使用AWS、Azure或Google Cloud等云服务，以及Docker和Kubernetes等容器技术进行应用部署和管理。 6. **数据存储与处理**：探讨不同类型的数据库（关系型、NoSQL、...
midudev-bootcamp:全栈训练营
03-17
"midudev-bootcamp:全栈训练营"是一个旨在帮助学员掌握全栈开发技能的课程，主要聚焦于JavaScript技术栈。JavaScript作为互联网上最流行的编程语言之一，是构建现代Web应用的核心工具，尤其在全栈开发中起着至关重要...
遇见OFFER，阿里云最强技术团队现身招聘，“职”为你来
热门推荐
遇见OFFER
05-28 6万+
最近还在找工作吗？我们又来放送招聘信息啦！快来看看吧~
完整版—架构师之路（58沈剑）.rar
07-03
此外，书中还涉及了云原生架构和容器化技术，如Docker和Kubernetes，这些是现代软件架构的重要组成部分，它们为企业提供了更高效、弹性的部署和运维能力。 最后，沈剑探讨了架构演进和技术创新，鼓励架构师始终保持...
面试技巧 面试复盘 编程技术 架构 看这一篇就够了
china19931017的博客
11-25 2249
神经网路与深度学习 Kubernetes实战 大型网站性能监测、分析与优化 Flume日志收集与MapReduce模式 ZooKeeper：分布式过程协同技术详解 自己动手写Java虚拟机 Java WebSocket编程 开发、部署和保护动态Web应用 SpringBoot揭秘：快速构建微服务体系 Web全栈工程师的自我修养 Apache Spark源码剖析 Wireshark数据包分析实战详解 深入剖析Tomcat-网上版本不够清晰 故重做 Kafka技术内幕 图文详解Kafka
福利！百度免费开放内部云原生精品课程
百度云原生计算的博客
03-10 869
近年来，云原生的关注度居高不下，全世界的开发者都对由此而兴起的一众技术十分追捧，中国的开发者们也经历了从关注“云原生概念”到关注“云原生落地实践”的转变。在企业探索云原生架构转型落地的过程中，Kubernetes 作为典型技术在生产使用中已然成为了主流。 CNCF 2019最新使用调查报告的数据显示，目前84%的用户已经在生产环境中使用 Kubernetes，生产环境中容器部署规模超过1000的比例是34%，其中超过5000的大规模应用比例是19%，这三个数字对比2018年都有5%~1...
【云原生训练营】模块二 Go语言进阶
果子哥丶的博客
05-04 996
Go 语言保证线程安全，可以使用 channel 和 共享内存去保证。 Go 语言不仅仅提供基于 CSP 的通信模型，也支持基于共享内存的多线程数据访问，在Sync包提供了锁的基本原语。 sync.Mutex 互斥锁，Lock加锁，unlock解锁。不论读和写都是互斥的。 sync.RWMutex 读写分离锁，不限制并发读，只限制并发写和并发读写。 sync.WaitGrou.
Docker（一）安装初步使用、构建镜像、Dockerfile编写、通过Dockerfile文件封装nginx镜像并优化
weixin_44992260的博客
07-22 911
一 1.配置软件仓库, 安装docker-ce（19版本的社区版）,启动服务 2.docker info查看容器信息 如果出现warning，内核参数设置为1 3.查看ip 4.iptables -L 5.下载2048小游戏和maria的景象 6.本地拉取2048景象，查看镜像 7.发布2048小游戏 8.测试 9.发布玛丽奥游戏 10.测试 二构建景象：（两种方式） 共享su主机的kernel，容器景象更小，不需要内核，base image（景象的内核文件系统）。分层意义：减少本地带宽
docker背景知识1 命名空间Namespace(nsenter、lsns命令)
m0_45406092的博客
12-10 2661
如下操作都是在centos7上执行,通过cat /proc/version查看系统信息。 Linux namespace linux namespaces是Linux提供的一种内核级别环境隔离的方法，也是Container环境隔离的底层技术，Linux Namespaces共有如下种类 分类 系统调用参数 相关内核版本 ...
k8s网络之(一)如何调试容器网络 nsenter
最新发布
wzj_110的博客
07-19 488
pod_id和container_id关系。
docker容器工具nsenter
(Andrew)的专栏
05-08 2023
对于运行在后台的docker容器，我们经常需要做的事情是进入到容器中，docker为我们提供了docker exec 、docker attach 命令，并且还提供了nsenter工具，外部工具供我们使用。docker attach存在的问题是：当多个窗口同时attach到同一个容器时，所有的窗口都会同步的显示，假如其中的一个窗口发生阻塞时，其它的窗口也会阻塞，docker attach命令可以说...
使用nsenter检查docker网络
oldboy1999的博客
05-25 895
举一个最简单的例子，许多容器由于为了轻量化，没有安装Linux最基本的命令工具，如果想要ping其他IP，就会因为没有ping命令而十分尴尬。nsenter是一个可以在指定进程的命令空间下运行指定程序的命令，它最典型的用途就是进入容器的网络命令空间。虽然容器没有ping命令，但是可以使用容器外的宿主机的命令工具，实现网络的debug。上述检查容器状态，我们得到了该容器的ID。此时就可以使用容器内本不存在的命令。得到了容器进程的ID 96248。首先检查该容器的进程。
进入docker容器之nsenter脚本
weixin_34380781的博客
12-23 273
docker-enter脚本内容如下：root@zxl-node4:~#catdocker-enter #!/bin/sh if[-e$(dirname"$0")/nsenter];then #withboot2docker,nsenterisnotinthePATHbutitisinthesamefolder ...
【云原生】：一文读懂Docker核心技术
weixin_39552004的博客
10-02 454
​传统分层架构 vs 微服务Docker 云世 公众号 获取更多「云原生」内容，关注公号【云世】：GZH_YUNSHI •基于 Linux 内核的 Cgroup，Namespace，以及Union FS 等技术，对进程进行封装隔离，属于操作系统层面的虚拟化技术，由于隔离的进程独立于宿主和其它的隔离的进程，因此也称其为容器。 •最初实现是基于 LXC，从 0.7 以后开始去除 LXC，转而使用自行开发的 Libcontainer，从1.11 开始，则进一步演进为使用 runC ..
云原生技术解析：从Docker到ServiceMesh
三、云原生的详细理解 2013年后，随着Docker的成熟，容器技术推动了后端架构的快速发展，催生了微服务、Kubernetes（k8s）、Serverless等一系列新概念。微服务强调将大型应用拆分成小型、独立的服务，便于管理和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值