第三课 Docker践行DevOps理念-Docker网络学习

第三课 Docker践行DevOps理念-Docker网络

tags:

  • Docker
  • 慕课网

categories:

  • Docker
  • 基础知识
  • 实验环境
  • liunx的namespace
  • Docker网络的原理
  • –link
  • 创建NETWORK
  • 单机下多容器实战
  • overlay和etcd实现多机下多容器通信

第一节 Docke网络概述和实验环境

1. 1 网络基础回顾

  1. 网络分层
    在这里插入图片描述
  2. IP地址和路由
    在这里插入图片描述
  3. PublicIP :互联网上的唯一标识,可以访问internet
  4. Private IP :不可在互联网上使用,仅供机构内部使用
    • A类10.0.0.0–10.255.255.255 (10.0.0.0/8)
    • B类172.16.0.0–172.31.255.255 (172.16.0.0/12)
    • C类192.168.0.0–192.168.255.255 (192.168.0.0/16)
  5. 当数据包进入路由器中,会自动做NAT的转换
    在这里插入图片描述

1.2 网络工具Ping和telnet

  1. Ping(ICMP) : 验证IP的可达性。例子: ping 192.168.205.10
  2. telnet: 验证服务的可用性。 例子:telnet 10.75. 44.10 80 (地址加端口)
  3. 如果ping可以ping通,telnet不可用。大部分情况下是防火墙的问题。
  4. 介绍一款抓包工具。Wireshark(可以用来学习网络)

1.3 实验环境搭建

  1. vagrant plugin install vagrant-scp --plugin-clean-sources --plugin-source https://gems.ruby-china.com/
  2. 开启vagrant, 直接使用vagrant scp labs ~
  3. 创建完成后。看下两个虚拟机和宿主机是否网络互通。vagrant ssh docker-node1
# -*- mode: ruby -*-
# vi: set ft=ruby :

Vagrant.require_version ">= 1.6.0"

boxes = [
    {
        :name => "docker-node1",
        :eth1 => "192.168.205.10",
        :mem => "1024",
        :cpu => "1",
		:port => "8888"
    },
    {
        :name => "docker-node2",
        :eth1 => "192.168.205.11",
        :mem => "1024",
        :cpu => "1",
		:port => "9999"
    }
]

Vagrant.configure(2) do |config|

  config.vm.box = "centos/7"

  boxes.each do |opts|
      config.vm.define opts[:name] do |config|
        config.vm.hostname = opts[:name]
		config.vm.network "forwarded_port", guest: 80, host: opts[:port]
        config.vm.provider "vmware_fusion" do |v|
          v.vmx["memsize"] = opts[:mem]
          v.vmx["numvcpus"] = opts[:cpu]
        end

        config.vm.provider "virtualbox" do |v|
          v.customize ["modifyvm", :id, "--memory", opts[:mem]]
          v.customize ["modifyvm", :id, "--cpus", opts[:cpu]]
        end

        config.vm.network :private_network, ip: opts[:eth1]
      end
  end

  # config.vm.synced_folder "./labs", "/home/vagrant/labs"
  config.vm.provision "shell", privileged: true, path: "./setup.sh"

end
# 配置阿里镜像
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://eyzd1v97.mirror.aliyuncs.com"]
}
EOF
# 更新源
sudo yum-config-manager \
  --add-repo \
  https://download.docker.com/linux/centos/docker-ce.repo
sudo yum clean all  
sudo yum makecache fast
sudo yum update
# 安装依赖包和docker
sudo yum install -y yum-utils device-mapper-persistent-data lvm2 git vim gcc glibc-static telnet bridge-utils net-tools
sudo yum install docker-ce-17.12.0.ce -y
sudo systemctl enable docker
sudo systemctl daemon-reload
sudo systemctl restart docker

# 添加vagrant到docker组中
sudo gpasswd -a vagrant docker # 把当前用户添加到docker组中
sudo systemctl restart docker.service # 重启docker服务

第二节 Linux网络命名空间

2.1 NetWork NameSpace介绍

  1. 启动两个busybox容器,后台一直运行
docker run -d --name test1 busybox /bin/sh -c "while true; do sleep 3600; done"
docker run -d --name test2 busybox /bin/sh -c "while true; do sleep 3600; done"
  1. 进入到正在运行的第一个容器中。docker exec -it 715fe9827c41 /bin/sh
  2. 查看容器的网路。ip a
  3. 下面这个就是一个NameSpace 包括一个网络回环口
    • 到虚拟机中输入ip a,发现和容器中不同
    • 表示容器实现了网络的隔离
      在这里插入图片描述
  4. 进入到第二个容器中,去ping第一个容器的ip。发现可以ping通。说明容器之间的网络是相通的

2.2 NetWork NameSpace操作

  1. 查看虚拟机中NetWork NameSpace, sudo ip netns list
  2. 创建名为test1的NetWork NameSpace: sudo ip netns add test1
  3. 删除名为test1的NetWork NameSpace: sudo ip netns delete test1
  4. 在test1的NetWork NameSpace中执行ip a:sudo ip netns exec test1 ip a
  5. 在test1的NetWork NameSpace中执行ip link:sudo ip netns exec test1 ip link
    • 可以看到一个本地的回环口,没有地址
    • 状态是Down, 没有启动起来
      在这里插入图片描述
  6. 启动test1的NetWork NameSpace的 lo 端口: sudo ip netns exec test1 ip link set dev lo up
  7. 再次观察发现sudo ip netns exec test1 ip link, 发现状态变成UNKOWN。因为它需要和别的端口连在一起,单个端口没办法up起来

2.3 模拟容器网络连接

  1. 容器中的网络连接和这个实验原理是一样的。
    在这里插入图片描述
  2. 下面通过实验验证
# 查看本机link
ip link
# 创建一对veth的接口
sudo ip link add veth-test1 type veth peer name veth-test2
ip link # 发现多了一对veth接口
# 把veth-test1接口添加到 test1中
sudo ip link set veth-test1 netns test1
sudo ip netns exec test1 ip link
# 发现少了一个 因为添加到test1中啦
ip link
# 同理
sudo ip link set veth-test1 netns test2
sudo ip netns exec test2 ip link
# 发现少了一个 因为添加到test1中啦
ip link
# 但是现在状态为down, 而且没有ip地址, 只有mac地址
# 先给veth分配ip地址
sudo ip netns test1 ip addr add 192.168.1.1/24 dev veth-test1
sudo ip netns test2 ip addr add 192.168.1.2/24 dev veth-test2
# 然后先启动端口. 在test1中启动veth-test1端口。就是小方块
sudo ip netns exec test1 ip link set dev veth-test1 up
sudo ip netns exec test2 ip link set dev veth-test2 up
# 最后查看是否绑定IP,状态是否启动.
sudo ip netns exec test1 ip a
sudo ip netns exec test2 ip a
# 看test1和test2是否网络互通
sudo ip netns exec test1 ping 192.168.1.2
sudo ip netns exec test2 ping 192.168.1.1

在这里插入图片描述

第三节 docker网络介绍

3.1 容器相互访问和访问外部网络基本原理

  1. 显示docker的网络: docker network ls 。网络类型如下
    在这里插入图片描述
  2. 看图,默认有一个docker的地址的(应该是安装docker后就有的)
    在这里插入图片描述
  3. 创建一个后台运行的容器(发现多了一对veth peer接口,可以想象成一根网线):docker run -d --name test1 busybox /bin/sh -c “while true; do sleep 3600; done”
    在这里插入图片描述
  4. docker network ls 然后执行 docker network inspect c3e953d38d05 (bridge的网络id),可以观察到Cotainer字段中有一个容器的IP
  5. sudo docker exec test1 ip a 可以看到一个veth。这个veth其实就是上图中一对中的一个端口,用来连接docker0的namespace和容器的namespace。
    在这里插入图片描述
  6. 使用命令: brctl show 可以看到docker0的通过了接口veth 安装工具, sudo yum install -y bridge-utils。
    在这里插入图片描述

3.2 容器相互 --link

  1. sudo docker run -d --name test2 --link test1 busybox /bin/sh -c “while true; do sleep 3600; done”
  2. 上述命令创建一个test2 容器 link 到 test1上。(实际使用中,它不会经常使用因为下面一节)
  3. 进入test2. docker exec -it test2 /bin/sh
  4. ping test1的IP 或者 直接 ping test1(名称)。 都可以ping 通。
  5. 这样做的好处是:如果test1中有个数据库服务,我们直接 test:3306 就可以访问我们的数据库服务啦。
  6. 这里需要注意 –link是有方向的。如果你在test1中 直接ping test2 没戏ping不通

3.3 指定NETWORK

  1. 我们创建容器默认把网络接到 bridge上。当然我们可以选择NETWORK, 我们同样可以创建自己的NETWORK
  2. 创建一个自己的NETWORK :docker network create mybridge
  3. 创建容器时指定自己创下的NETWORK。 docker run -d --name test3 --network mybridge busybox /bin/sh -c “while true; do sleep 3600; done”
  4. 已经存在的容器 连接自己创建的NETWORK。docker network connect mybridge test2
  5. 注意: 自己创建的NETWORK, 连接它的容器默认是相互–link的
# 创建一个自己的NETWORK
docker network create mybridge创建一个自己的NETWORK
docker network create mybridge
# 查看NETWORK
docker network ls
brctl show 
# 创建容器时指定自己创下的NETWORK
sudo docker run -d --name test3 --network mybridge busybox /bin/sh -c "while true; do sleep 3600; done"
docker inspect a79ae22cfd66 ls
# 指定已经存在的test2 连接自己创建的NETWORK connect
docker network connect mybridge test2
docker inspect a79ae22cfd66 ls
# 这时候test2 既连接到默认的bridge, 又连接到我们创建的mybridge上
docker inspect c3e953d38d05 ls
# 这里有个神奇的地方要记住。自己创建的NETWORK, 连接它的容器默认是相互--link的。
docker exec -it df276ad35630 /bin/sh # 进入到test3 容器中
ping test2 # 能ping通

3.4 容器的端口映射

  1. 假如我们在容器中启动一个Web服务,如何让容器宿主机(docker-node1)外部机器访问到这个服务呢?
    • docker run --name web -d nginx 启动一个nginx名字叫web的容器
# 查看容器
docker ps -a
docker exec -it web /bin/bash
# 因为nginx比较小 好多命令都没有 所以先退出来
exit 
# 我们在宿主机docker-node1中可以这个服务 查看web容器的ip
docker network inspect bridge
# 访问nginx服务
ping 172.17.0.2 # 可ping通
telnet 172.17.0.2:80 # 服务存在
curl 172.17.0.2
# 直接访问本机
 curl 127.0.0.1 # 发现访问不了
  1. 端口映射(port-map), 把容器服务端口映射到本地。
    • docker run --name web -d -p 80:80 nginx 把容器的80端口映射到docker-node1的80端口
docker ps -a
curl 127.0.0.1 # 现在可以直接访问啦
  1. 修改Dockerfile文件。把docker-node1的80端口,映射到我们主机的8888端口。这样直接在主机中输入:127.0.0.1:8888或者直接输入(http://192.168.205.10/) 就相当于 docker-node1中的 127.0.0.1:80
:port => "8888"

config.vm.network "forwarded_port", guest: 80, host: opts[:port]

在这里插入图片描述

  1. 通过上面方法,在云主机中启动服务,那么任何人都可以访问我们的服务。以阿里云为例:
docker-machine env imooc(云主机docker host名称)
# 连上阿里云的docker服务器
eval $(docker-machine env imooc)
docker version
docker run --name web  -d  -p 80:80 nginx
# 本地浏览器访问云主机ip 就可以看到nginx服务

3.5 host和none的NetWork

  1. 创建一个网络类型为none的容器。
    • 它其实是一个孤立的Network Namespace
    • 安全性比较高,只有进入到容器中才能访问。其它方式访问不了
    • 应用场景: 存储密码或生成密码的工具, 不想让密码被任何人访问到。自己可以访问就可以。
docker run -d --name test1 --network none busybox /bin/sh -c "while true; do sleep 3600; done"
# 查看下none 下tes1的网络 发现什么信息都没有呢
docker network inspect none
# 进入到test1容器中
docker exec -it test1 /bin/sh
# ip a 发现除了本地的回环口之外 没有任何的接口
ip a
exit
# 停止并删除
docker stop test1
docker rm test1
  1. 创建一个网络类型为host的容器。
    • 共享主机的网络命名空间
    • 限制:端口比较容易起冲突
docker run -d --name test1 --network host busybox /bin/sh -c "while true; do sleep 3600; done"
# 查看下host下tes1的网络 发现和none一样没有mac和ip地址
docker network inspect host
# 进入到test1容器中
docker exec -it test1 /bin/sh
# ip a 发现和主机的网络一模一样 和主机公用一套网络接口
ip a
exit
# 停止并删除
docker stop test1
docker rm test1

第四节 多容器复杂应用的部署实战

4.1 单机下的多容器实战

  1. vagrant plugin install vagrant-scp --plugin-clean-sources --plugin-source https://gems.ruby-china.com/
  2. 开启vagrant, 直接使用vagrant scp labs ~
from flask import Flask
from redis import Redis
import os
import socket

app = Flask(__name__)
# 获取环境变量REDIS_HOST,如果获取不到就设置为127.0.0.1
redis = Redis(host=os.environ.get('REDIS_HOST', '127.0.0.1'), port=6379)


@app.route('/')
def hello():
    redis.incr('hits')
    return 'Hello Container World! I have been seen %s times and my hostname is %s.\n' % (redis.get('hits'),socket.gethostname())


if __name__ == "__main__":
    app.run(host="0.0.0.0", port=5000, debug=True)
  1. 通过下面文件构建镜像:docker build -t qnhyn/flask-redis .
FROM python:2.7
LABEL maintaner="Peng Xiao xiaoquwl@gmail.com"
COPY . /app
WORKDIR /app
RUN pip install flask-redis -i https://pypi.douban.com/simple
EXPOSE 5000
CMD [ "python", "app.py" ]
  1. 我们把redis服务器作为一个单独的容器去部署。flask作为另一个容器做部署。
    • 创建redis容器(我们没有指定7379映射到本机的6379,因为我们的redis不用给外部访问,供给app内部使用):docker run -d --name redis redis
    • 启动flask-redis服务:docker run -d -p 5000:5000 --link redis --name flask-redis -e REDIS_HOST=redis qnhyn/flask-redis
      • –link 可以直接通过redis 访问redis容器
      • -e 设置环境变量 REDIS_HOST
      • –name 容器的名字
      • -p 端口映射(容器端口5000映射到虚拟机端口5000)
        在这里插入图片描述
docker run -d --name redis redis 
ocker run -d --link redis --name flask-redis -e REDIS_HOST=redis qnhyn/flask-redis
# 进入容器flask-redis中
docker exec -it 415ecf0dd451 /bin/bash
# 查看环境变量
env
# 访问服务
curl 127.0.0.1:5000
exit
# 容器外访问服务
curl 127.0.0.1:5000
# 停止删除容器
docker stop flask-redis
# 映射端口启动容器
docker run -d -p 5000:5000 --link redis --name flask-redis -e REDIS_HOST=redis qnhyn/flask-redis
# 再次访问服务
curl 127.0.0.1:5000

4.2 多机下的多容器实战

在这里插入图片描述

  1. Overlay和Underlay的通俗解释。
    • 容器内的src和dest的数据包本来是不能出虚拟机的。
    • 但是我们可以把容器的数据包整个直接放到左边eth0的数据层中。
    • 右边eth0解析数据包,再发到右边的容器中。
    • 上面实现的方式叫VXLAN(或者搜一下它的实现):https://www.evoila.de/de/blog/2015/11/06/what-is-vxlan-and-how-it-works/
  2. Overlay网络和etcd实现多机容器通信
    • etcd 是一个分布式的存储。(用来保证不同机器上的容器的IP不重复)
# docker-node1上安装etcd 

sudo yum -y install wget
# 如果下载太慢 直接从git上下,通过vagrant scp 复制过去
wget https://mirrors.huaweicloud.com/etcd/v3.0.12/etcd-v3.0.12-linux-amd64.tar.gz
tar zxvf etcd-v3.0.12-linux-amd64.tar.gz
cd etcd-v3.0.12-linux-amd64/
# docker-node1上启动etcd服务
nohup ./etcd --name docker-node1 --initial-advertise-peer-urls http://192.168.205.10:2380 \
--listen-peer-urls http://192.168.205.10:2380 \
--listen-client-urls http://192.168.205.10:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://192.168.205.10:2379 \
--initial-cluster-token etcd-cluster \
--initial-cluster docker-node1=http://192.168.205.10:2380,docker-node2=http://192.168.205.11:2380 \
--initial-cluster-state new&

# 判断分布式储存etcd 是否成功。 分别在node1和node2上输入
./etcdctl cluster-health
# 停掉正在运行的docker
sudo service docker stop
docker version # 只有client表示docker停了
# docker-node1手动启动 加入参数cluster-store=etcd://192.168.205.11:2379
sudo /usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --cluster-store=etcd://192.168.205.10:2379 --cluster-advertise=192.168.205.10:2375&
# 为了防止有log一直输出 我们先退出node1再进来
# docker-node2上安装etcd 

# 如果下载太慢 通过镜像https://mirrors.huaweicloud.com/etcd/v3.0.12/ ,通过vagrant scp 复制过去
wget https://mirrors.huaweicloud.com/etcd/v3.0.12/etcd-v3.0.12-linux-amd64.tar.gz
tar zxvf etcd-v3.0.12-linux-amd64.tar.gz
cd etcd-v3.0.12-linux-amd64/
# docker-node2上启动etcd服务
nohup ./etcd --name docker-node2 --initial-advertise-peer-urls http://192.168.205.11:2380 \
--listen-peer-urls http://192.168.205.11:2380 \
--listen-client-urls http://192.168.205.11:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://192.168.205.11:2379 \
--initial-cluster-token etcd-cluster \
--initial-cluster docker-node1=http://192.168.205.10:2380,docker-node2=http://192.168.205.11:2380 \
--initial-cluster-state new&

# 运行之后卡住了 直接回车
# 判断分布式储存etcd 是否成功。 分别在node1和node2上输入
./etcdctl cluster-health
# 停掉正在运行的docker
sudo service docker stop
docker version # 只有client表示docker停了
# docker-node2手动启动 加入参数cluster-store=etcd://192.168.205.11:2379
sudo /usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --cluster-store=etcd://192.168.205.11:2379 --cluster-advertise=192.168.205.11:2375&
# 为了防止有log一直输出 我们先退出node2再进来

在这里插入图片描述

  1. 创建overlay network。不同机器中容器的通信必须通过overlay network
# 在node1节点上
docker network ls
# 选择一个overlay的driver
docker network create -d overlay demo
docker network ls
docker network inspect demo

# 在node2节点上
docker network ls # 这里发现有个demo的网络
cd etcd-v3.0.12-linux-amd64/
sudo ./etcdctl ls
# 这个node文件夹会存储两个node的信息
sudo ./etcdctl ls /docker/nodes
# 可以看到node1创建的网络的id, 然后通过这个id在node2上创建网络
sudo ./etcdctl ls /docker/network/v1.0/network

# node1上创建容器测试
docker run -d --name test1 --net demo busybox sh -c "while true; do sleep 3600; done"
# 如果我们在node2上也执行 会报错 因为test1 已经存在分布式网络中
docker run -d --name test1 --net demo busybox sh -c "while true; do sleep 3600; done"
# node2上创建test2
docker run -d --name test2 --net demo busybox sh -c "while true; do sleep 3600; done"
# 再次查看 发现有两个容器
docker network inspect demo
# 进入一个容器ping 另一个容器的ip 发现可以ping通。表示不同机器上的容器可以成功通信
docker exec -it test1 /bin/sh
ping 10.0.0.3
# 或者直接这样也可以ping通的
docker exec test1 ping test2
  1. 注意一下,我们发现docker network ls。默认多了一个docker_gwbridge的网络。
    • 执行docker exec test2 ip a 发现有两个网络。原理图如下:
    • 172.18.0.4网段是docker_gwbridge是负责对外通信的
    • 10.0.0.7这个网段是overlay的网段。通过隧道负责不同机器中容器的通信。
      在这里插入图片描述
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值