第三课 Docker践行DevOps理念-Docker网络
tags:
- Docker
- 慕课网
categories:
- Docker
- 基础知识
- 实验环境
- liunx的namespace
- Docker网络的原理
- –link
- 创建NETWORK
- 单机下多容器实战
- overlay和etcd实现多机下多容器通信
第一节 Docke网络概述和实验环境
1. 1 网络基础回顾
- 网络分层
- IP地址和路由
- PublicIP :互联网上的唯一标识,可以访问internet
- Private IP :不可在互联网上使用,仅供机构内部使用
- A类10.0.0.0–10.255.255.255 (10.0.0.0/8)
- B类172.16.0.0–172.31.255.255 (172.16.0.0/12)
- C类192.168.0.0–192.168.255.255 (192.168.0.0/16)
- 当数据包进入路由器中,会自动做NAT的转换
1.2 网络工具Ping和telnet
- Ping(ICMP) : 验证IP的可达性。例子: ping 192.168.205.10
- telnet: 验证服务的可用性。 例子:telnet 10.75. 44.10 80 (地址加端口)
- 如果ping可以ping通,telnet不可用。大部分情况下是防火墙的问题。
- 介绍一款抓包工具。Wireshark(可以用来学习网络)
1.3 实验环境搭建
- vagrant plugin install vagrant-scp --plugin-clean-sources --plugin-source https://gems.ruby-china.com/
- 开启vagrant, 直接使用vagrant scp labs ~
- 创建完成后。看下两个虚拟机和宿主机是否网络互通。vagrant ssh docker-node1
# -*- mode: ruby -*-
# vi: set ft=ruby :
Vagrant.require_version ">= 1.6.0"
boxes = [
{
:name => "docker-node1",
:eth1 => "192.168.205.10",
:mem => "1024",
:cpu => "1",
:port => "8888"
},
{
:name => "docker-node2",
:eth1 => "192.168.205.11",
:mem => "1024",
:cpu => "1",
:port => "9999"
}
]
Vagrant.configure(2) do |config|
config.vm.box = "centos/7"
boxes.each do |opts|
config.vm.define opts[:name] do |config|
config.vm.hostname = opts[:name]
config.vm.network "forwarded_port", guest: 80, host: opts[:port]
config.vm.provider "vmware_fusion" do |v|
v.vmx["memsize"] = opts[:mem]
v.vmx["numvcpus"] = opts[:cpu]
end
config.vm.provider "virtualbox" do |v|
v.customize ["modifyvm", :id, "--memory", opts[:mem]]
v.customize ["modifyvm", :id, "--cpus", opts[:cpu]]
end
config.vm.network :private_network, ip: opts[:eth1]
end
end
# config.vm.synced_folder "./labs", "/home/vagrant/labs"
config.vm.provision "shell", privileged: true, path: "./setup.sh"
end
# 配置阿里镜像
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://eyzd1v97.mirror.aliyuncs.com"]
}
EOF
# 更新源
sudo yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
sudo yum clean all
sudo yum makecache fast
sudo yum update
# 安装依赖包和docker
sudo yum install -y yum-utils device-mapper-persistent-data lvm2 git vim gcc glibc-static telnet bridge-utils net-tools
sudo yum install docker-ce-17.12.0.ce -y
sudo systemctl enable docker
sudo systemctl daemon-reload
sudo systemctl restart docker
# 添加vagrant到docker组中
sudo gpasswd -a vagrant docker # 把当前用户添加到docker组中
sudo systemctl restart docker.service # 重启docker服务
第二节 Linux网络命名空间
2.1 NetWork NameSpace介绍
- 启动两个busybox容器,后台一直运行
docker run -d --name test1 busybox /bin/sh -c "while true; do sleep 3600; done"
docker run -d --name test2 busybox /bin/sh -c "while true; do sleep 3600; done"
- 进入到正在运行的第一个容器中。docker exec -it 715fe9827c41 /bin/sh
- 查看容器的网路。ip a
- 下面这个就是一个NameSpace 包括一个网络回环口
- 到虚拟机中输入ip a,发现和容器中不同
- 表示容器实现了网络的隔离
- 进入到第二个容器中,去ping第一个容器的ip。发现可以ping通。说明容器之间的网络是相通的。
2.2 NetWork NameSpace操作
- 查看虚拟机中NetWork NameSpace, sudo ip netns list
- 创建名为test1的NetWork NameSpace: sudo ip netns add test1
- 删除名为test1的NetWork NameSpace: sudo ip netns delete test1
- 在test1的NetWork NameSpace中执行ip a:sudo ip netns exec test1 ip a
- 在test1的NetWork NameSpace中执行ip link:sudo ip netns exec test1 ip link
- 可以看到一个本地的回环口,没有地址
- 状态是Down, 没有启动起来
- 启动test1的NetWork NameSpace的 lo 端口: sudo ip netns exec test1 ip link set dev lo up
- 再次观察发现sudo ip netns exec test1 ip link, 发现状态变成UNKOWN。因为它需要和别的端口连在一起,单个端口没办法up起来。
2.3 模拟容器网络连接
- 容器中的网络连接和这个实验原理是一样的。
- 下面通过实验验证
# 查看本机link
ip link
# 创建一对veth的接口
sudo ip link add veth-test1 type veth peer name veth-test2
ip link # 发现多了一对veth接口
# 把veth-test1接口添加到 test1中
sudo ip link set veth-test1 netns test1
sudo ip netns exec test1 ip link
# 发现少了一个 因为添加到test1中啦
ip link
# 同理
sudo ip link set veth-test1 netns test2
sudo ip netns exec test2 ip link
# 发现少了一个 因为添加到test1中啦
ip link
# 但是现在状态为down, 而且没有ip地址, 只有mac地址
# 先给veth分配ip地址
sudo ip netns test1 ip addr add 192.168.1.1/24 dev veth-test1
sudo ip netns test2 ip addr add 192.168.1.2/24 dev veth-test2
# 然后先启动端口. 在test1中启动veth-test1端口。就是小方块
sudo ip netns exec test1 ip link set dev veth-test1 up
sudo ip netns exec test2 ip link set dev veth-test2 up
# 最后查看是否绑定IP,状态是否启动.
sudo ip netns exec test1 ip a
sudo ip netns exec test2 ip a
# 看test1和test2是否网络互通
sudo ip netns exec test1 ping 192.168.1.2
sudo ip netns exec test2 ping 192.168.1.1
第三节 docker网络介绍
3.1 容器相互访问和访问外部网络基本原理
- 显示docker的网络: docker network ls 。网络类型如下
- 看图,默认有一个docker的地址的(应该是安装docker后就有的)
- 创建一个后台运行的容器(发现多了一对veth peer接口,可以想象成一根网线):docker run -d --name test1 busybox /bin/sh -c “while true; do sleep 3600; done”
- docker network ls 然后执行 docker network inspect c3e953d38d05 (bridge的网络id),可以观察到Cotainer字段中有一个容器的IP
- sudo docker exec test1 ip a 可以看到一个veth。这个veth其实就是上图中一对中的一个端口,用来连接docker0的namespace和容器的namespace。
- 使用命令: brctl show 可以看到docker0的通过了接口veth 安装工具, sudo yum install -y bridge-utils。
3.2 容器相互 --link
- sudo docker run -d --name test2 --link test1 busybox /bin/sh -c “while true; do sleep 3600; done”
- 上述命令创建一个test2 容器 link 到 test1上。(实际使用中,它不会经常使用因为下面一节)
- 进入test2. docker exec -it test2 /bin/sh
- ping test1的IP 或者 直接 ping test1(名称)。 都可以ping 通。
- 这样做的好处是:如果test1中有个数据库服务,我们直接 test:3306 就可以访问我们的数据库服务啦。
- 这里需要注意 –link是有方向的。如果你在test1中 直接ping test2 没戏ping不通
3.3 指定NETWORK
- 我们创建容器默认把网络接到 bridge上。当然我们可以选择NETWORK, 我们同样可以创建自己的NETWORK
- 创建一个自己的NETWORK :docker network create mybridge
- 创建容器时指定自己创下的NETWORK。 docker run -d --name test3 --network mybridge busybox /bin/sh -c “while true; do sleep 3600; done”
- 已经存在的容器 连接自己创建的NETWORK。docker network connect mybridge test2
- 注意: 自己创建的NETWORK, 连接它的容器默认是相互–link的。
# 创建一个自己的NETWORK
docker network create mybridge创建一个自己的NETWORK
docker network create mybridge
# 查看NETWORK
docker network ls
brctl show
# 创建容器时指定自己创下的NETWORK
sudo docker run -d --name test3 --network mybridge busybox /bin/sh -c "while true; do sleep 3600; done"
docker inspect a79ae22cfd66 ls
# 指定已经存在的test2 连接自己创建的NETWORK connect
docker network connect mybridge test2
docker inspect a79ae22cfd66 ls
# 这时候test2 既连接到默认的bridge, 又连接到我们创建的mybridge上
docker inspect c3e953d38d05 ls
# 这里有个神奇的地方要记住。自己创建的NETWORK, 连接它的容器默认是相互--link的。
docker exec -it df276ad35630 /bin/sh # 进入到test3 容器中
ping test2 # 能ping通
3.4 容器的端口映射
- 假如我们在容器中启动一个Web服务,如何让容器宿主机(docker-node1)外部机器访问到这个服务呢?
- docker run --name web -d nginx 启动一个nginx名字叫web的容器
# 查看容器
docker ps -a
docker exec -it web /bin/bash
# 因为nginx比较小 好多命令都没有 所以先退出来
exit
# 我们在宿主机docker-node1中可以这个服务 查看web容器的ip
docker network inspect bridge
# 访问nginx服务
ping 172.17.0.2 # 可ping通
telnet 172.17.0.2:80 # 服务存在
curl 172.17.0.2
# 直接访问本机
curl 127.0.0.1 # 发现访问不了
- 端口映射(port-map), 把容器服务端口映射到本地。
- docker run --name web -d -p 80:80 nginx 把容器的80端口映射到docker-node1的80端口
docker ps -a
curl 127.0.0.1 # 现在可以直接访问啦
- 修改Dockerfile文件。把docker-node1的80端口,映射到我们主机的8888端口。这样直接在主机中输入:127.0.0.1:8888或者直接输入(http://192.168.205.10/) 就相当于 docker-node1中的 127.0.0.1:80
:port => "8888"
config.vm.network "forwarded_port", guest: 80, host: opts[:port]
- 通过上面方法,在云主机中启动服务,那么任何人都可以访问我们的服务。以阿里云为例:
docker-machine env imooc(云主机docker host名称)
# 连上阿里云的docker服务器
eval $(docker-machine env imooc)
docker version
docker run --name web -d -p 80:80 nginx
# 本地浏览器访问云主机ip 就可以看到nginx服务
3.5 host和none的NetWork
- 创建一个网络类型为none的容器。
- 它其实是一个孤立的Network Namespace
- 安全性比较高,只有进入到容器中才能访问。其它方式访问不了
- 应用场景: 存储密码或生成密码的工具, 不想让密码被任何人访问到。自己可以访问就可以。
docker run -d --name test1 --network none busybox /bin/sh -c "while true; do sleep 3600; done"
# 查看下none 下tes1的网络 发现什么信息都没有呢
docker network inspect none
# 进入到test1容器中
docker exec -it test1 /bin/sh
# ip a 发现除了本地的回环口之外 没有任何的接口
ip a
exit
# 停止并删除
docker stop test1
docker rm test1
- 创建一个网络类型为host的容器。
- 共享主机的网络命名空间
- 限制:端口比较容易起冲突。
docker run -d --name test1 --network host busybox /bin/sh -c "while true; do sleep 3600; done"
# 查看下host下tes1的网络 发现和none一样没有mac和ip地址
docker network inspect host
# 进入到test1容器中
docker exec -it test1 /bin/sh
# ip a 发现和主机的网络一模一样 和主机公用一套网络接口
ip a
exit
# 停止并删除
docker stop test1
docker rm test1
第四节 多容器复杂应用的部署实战
4.1 单机下的多容器实战
- vagrant plugin install vagrant-scp --plugin-clean-sources --plugin-source https://gems.ruby-china.com/
- 开启vagrant, 直接使用vagrant scp labs ~
from flask import Flask
from redis import Redis
import os
import socket
app = Flask(__name__)
# 获取环境变量REDIS_HOST,如果获取不到就设置为127.0.0.1
redis = Redis(host=os.environ.get('REDIS_HOST', '127.0.0.1'), port=6379)
@app.route('/')
def hello():
redis.incr('hits')
return 'Hello Container World! I have been seen %s times and my hostname is %s.\n' % (redis.get('hits'),socket.gethostname())
if __name__ == "__main__":
app.run(host="0.0.0.0", port=5000, debug=True)
- 通过下面文件构建镜像:docker build -t qnhyn/flask-redis .
FROM python:2.7
LABEL maintaner="Peng Xiao xiaoquwl@gmail.com"
COPY . /app
WORKDIR /app
RUN pip install flask-redis -i https://pypi.douban.com/simple
EXPOSE 5000
CMD [ "python", "app.py" ]
- 我们把redis服务器作为一个单独的容器去部署。flask作为另一个容器做部署。
- 创建redis容器(我们没有指定7379映射到本机的6379,因为我们的redis不用给外部访问,供给app内部使用):docker run -d --name redis redis
- 启动flask-redis服务:docker run -d -p 5000:5000 --link redis --name flask-redis -e REDIS_HOST=redis qnhyn/flask-redis
- –link 可以直接通过redis 访问redis容器
- -e 设置环境变量 REDIS_HOST
- –name 容器的名字
- -p 端口映射(容器端口5000映射到虚拟机端口5000)
docker run -d --name redis redis
ocker run -d --link redis --name flask-redis -e REDIS_HOST=redis qnhyn/flask-redis
# 进入容器flask-redis中
docker exec -it 415ecf0dd451 /bin/bash
# 查看环境变量
env
# 访问服务
curl 127.0.0.1:5000
exit
# 容器外访问服务
curl 127.0.0.1:5000
# 停止删除容器
docker stop flask-redis
# 映射端口启动容器
docker run -d -p 5000:5000 --link redis --name flask-redis -e REDIS_HOST=redis qnhyn/flask-redis
# 再次访问服务
curl 127.0.0.1:5000
4.2 多机下的多容器实战
- Overlay和Underlay的通俗解释。
- 容器内的src和dest的数据包本来是不能出虚拟机的。
- 但是我们可以把容器的数据包整个直接放到左边eth0的数据层中。
- 右边eth0解析数据包,再发到右边的容器中。
- 上面实现的方式叫VXLAN(或者搜一下它的实现):https://www.evoila.de/de/blog/2015/11/06/what-is-vxlan-and-how-it-works/
- Overlay网络和etcd实现多机容器通信
- etcd 是一个分布式的存储。(用来保证不同机器上的容器的IP不重复)
# docker-node1上安装etcd
sudo yum -y install wget
# 如果下载太慢 直接从git上下,通过vagrant scp 复制过去
wget https://mirrors.huaweicloud.com/etcd/v3.0.12/etcd-v3.0.12-linux-amd64.tar.gz
tar zxvf etcd-v3.0.12-linux-amd64.tar.gz
cd etcd-v3.0.12-linux-amd64/
# docker-node1上启动etcd服务
nohup ./etcd --name docker-node1 --initial-advertise-peer-urls http://192.168.205.10:2380 \
--listen-peer-urls http://192.168.205.10:2380 \
--listen-client-urls http://192.168.205.10:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://192.168.205.10:2379 \
--initial-cluster-token etcd-cluster \
--initial-cluster docker-node1=http://192.168.205.10:2380,docker-node2=http://192.168.205.11:2380 \
--initial-cluster-state new&
# 判断分布式储存etcd 是否成功。 分别在node1和node2上输入
./etcdctl cluster-health
# 停掉正在运行的docker
sudo service docker stop
docker version # 只有client表示docker停了
# docker-node1手动启动 加入参数cluster-store=etcd://192.168.205.11:2379
sudo /usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --cluster-store=etcd://192.168.205.10:2379 --cluster-advertise=192.168.205.10:2375&
# 为了防止有log一直输出 我们先退出node1再进来
# docker-node2上安装etcd
# 如果下载太慢 通过镜像https://mirrors.huaweicloud.com/etcd/v3.0.12/ ,通过vagrant scp 复制过去
wget https://mirrors.huaweicloud.com/etcd/v3.0.12/etcd-v3.0.12-linux-amd64.tar.gz
tar zxvf etcd-v3.0.12-linux-amd64.tar.gz
cd etcd-v3.0.12-linux-amd64/
# docker-node2上启动etcd服务
nohup ./etcd --name docker-node2 --initial-advertise-peer-urls http://192.168.205.11:2380 \
--listen-peer-urls http://192.168.205.11:2380 \
--listen-client-urls http://192.168.205.11:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://192.168.205.11:2379 \
--initial-cluster-token etcd-cluster \
--initial-cluster docker-node1=http://192.168.205.10:2380,docker-node2=http://192.168.205.11:2380 \
--initial-cluster-state new&
# 运行之后卡住了 直接回车
# 判断分布式储存etcd 是否成功。 分别在node1和node2上输入
./etcdctl cluster-health
# 停掉正在运行的docker
sudo service docker stop
docker version # 只有client表示docker停了
# docker-node2手动启动 加入参数cluster-store=etcd://192.168.205.11:2379
sudo /usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --cluster-store=etcd://192.168.205.11:2379 --cluster-advertise=192.168.205.11:2375&
# 为了防止有log一直输出 我们先退出node2再进来
- 创建overlay network。不同机器中容器的通信必须通过overlay network
# 在node1节点上
docker network ls
# 选择一个overlay的driver
docker network create -d overlay demo
docker network ls
docker network inspect demo
# 在node2节点上
docker network ls # 这里发现有个demo的网络
cd etcd-v3.0.12-linux-amd64/
sudo ./etcdctl ls
# 这个node文件夹会存储两个node的信息
sudo ./etcdctl ls /docker/nodes
# 可以看到node1创建的网络的id, 然后通过这个id在node2上创建网络
sudo ./etcdctl ls /docker/network/v1.0/network
# node1上创建容器测试
docker run -d --name test1 --net demo busybox sh -c "while true; do sleep 3600; done"
# 如果我们在node2上也执行 会报错 因为test1 已经存在分布式网络中
docker run -d --name test1 --net demo busybox sh -c "while true; do sleep 3600; done"
# node2上创建test2
docker run -d --name test2 --net demo busybox sh -c "while true; do sleep 3600; done"
# 再次查看 发现有两个容器
docker network inspect demo
# 进入一个容器ping 另一个容器的ip 发现可以ping通。表示不同机器上的容器可以成功通信
docker exec -it test1 /bin/sh
ping 10.0.0.3
# 或者直接这样也可以ping通的
docker exec test1 ping test2
- 注意一下,我们发现docker network ls。默认多了一个docker_gwbridge的网络。
- 执行docker exec test2 ip a 发现有两个网络。原理图如下:
- 172.18.0.4网段是docker_gwbridge是负责对外通信的
- 10.0.0.7这个网段是overlay的网段。通过隧道负责不同机器中容器的通信。