基于容器的方式编译安装apache（二）

我们先拉取一个官方的centos镜像

[root@localhost ~]# docker pull centos
Using default tag: latest
latest: Pulling from library/centos
a1d0c7532777: Pull complete 
Digest: sha256:a27fd8080b517143cbbbab9dfb7c8571c40d67d534bbdee55bd6c473f432b177
Status: Downloaded newer image for centos:latest
docker.io/library/centos:latest


[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED        SIZE
centos       latest    5d0da3dc9764   7 months ago   231MB

利用centos镜像制作一个编译apache的容器

[root@localhost ~]# docker run -it --name c1 centos /bin/bash
[root@21cbde00e6d3 /]# 
[root@21cbde00e6d3 /]# alias ls='ls --color'     //显示目录颜色
[root@21cbde00e6d3 /]# ls
bin  etc   lib    lost+found  mnt  proc  run   srv  tmp  var
dev  home  lib64  media       opt  root  sbin  sys  usr

使用cp把apr3个rpm包传送到/usr/src里

[root@localhost ~]# 
[root@localhost ~]# ls
anaconda-ks.cfg  apr-1.7.0.tar.gz  apr-util-1.6.1.tar.gz  httpd-2.4.53.tar.gz
[root@localhost ~]# mkdir software
[root@localhost ~]# mv *.gz software/
[root@localhost ~]# ls
anaconda-ks.cfg  software
[root@localhost ~]# docker cp software c1:/usr/src/


[root@21cbde00e6d3 /]# cd /usr/src/
[root@21cbde00e6d3 src]# ls
debug  kernels  software
[root@21cbde00e6d3 src]# cd software/
[root@21cbde00e6d3 software]# ls
apr-1.7.0.tar.gz  apr-util-1.6.1.tar.gz  httpd-2.4.53.tar.gz

接下来解压

[root@21cbde00e6d3 software]# tar xf apr-1.7.0.tar.gz
[root@21cbde00e6d3 software]# tar xf apr-util-1.6.1.tar.gz 
[root@21cbde00e6d3 software]# tar xf httpd-2.4.53.tar.gz   
[root@21cbde00e6d3 software]# ls
apr-1.7.0         apr-util-1.6.1         httpd-2.4.53
apr-1.7.0.tar.gz  apr-util-1.6.1.tar.gz  httpd-2.4.53.tar.gz

设置apr的配置

[root@21cbde00e6d3 apr-1.7.0]# vi configure
  cfgfile=${ofile}T
    trap "$RM \"$cfgfile\"; exit 1" 1 2 15

配置新的阿里云yum源

[root@21cbde00e6d3 yum.repos.d]# ls
CentOS-Linux-AppStream.repo          CentOS-Linux-FastTrack.repo
CentOS-Linux-BaseOS.repo             CentOS-Linux-HighAvailability.repo
CentOS-Linux-ContinuousRelease.repo  CentOS-Linux-Media.repo
CentOS-Linux-Debuginfo.repo          CentOS-Linux-Plus.repo
CentOS-Linux-Devel.repo              CentOS-Linux-PowerTools.repo
CentOS-Linux-Extras.repo             CentOS-Linux-Sources.repo
[root@21cbde00e6d3 yum.repos.d]# rm -rf *
[root@21cbde00e6d3 yum.repos.d]# ls
//删除本地源

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

yum install -y https://mirrors.aliyun.com/epel/epel-release-latest-8.noarch.rpm
sed -i 's|^#baseurl=https://download.example/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel*
sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel*
[root@21cbde00e6d3 yum.repos.d]# ls
CentOS-Base.repo   epel-testing-modular.repo  epel.repo
epel-modular.repo  epel-testing.repo


//下载新的阿里云yum

下载所需要编译的依赖包

[root@21cbde00e6d3 apr-1.7.0]# yum -y install openssl-devel pcre-devel expat-devel libtool gcc make vim

编译安装apr

[root@21cbde00e6d3 apr-1.7.0]# ./configure --prefix=/usr/local/apr
[root@21cbde00e6d3 apr-1.7.0]#make
[root@21cbde00e6d3 apr-1.7.0]#make intsall

[root@21cbde00e6d3 apr-1.7.0]# cd ../apr-util-1.6.1
[root@21cbde00e6d3 apr-util-1.6.1]# ./configure --prefix=/usr/local/apr-util --with-=/usr/local/apr

[root@21cbde00e6d3 apr-util-1.6.1]#make
[root@21cbde00e6d3 apr-util-1.6.1]#make install

创建一个apache系统用户

[root@21cbde00e6d3 httpd-2.4.53]# useradd -r -M -s /sbin/nologin apache
[root@21cbde00e6d3 httpd-2.4.53]# id apache
uid=998(apache) gid=996(apache) groups=996(apache)

继续编译安装httpd

[root@21cbde00e6d3 httpd-2.4.53]#  ./configure --prefix=/usr/local/apache \
> --enable-so \
> --enable-ssl \
> --enable-cgi \
> --enable-rewrite \
> --with-zlib \
> --with-pcre \
> --with-apr=/usr/local/apr \
> --with-apr-util=/usr/local/apr-util/ \
> --enable-modules=most \
> --enable-mpms-shared=all \
> --with-mpm=prefork

[root@21cbde00e6d3 httpd-2.4.53]# make
[root@21cbde00e6d3 httpd-2.4.53]# make install

使用脚本让apache运行

[root@21cbde00e6d3 /]# vi entrypoint.sh
#!/bin/bash

/usr/local/apache/bin/httpd && sleep 5d
~    
                                      
[root@21cbde00e6d3 /]# chmod +x entrypoint.sh
[root@21cbde00e6d3 /]# ls
bin  entrypoint.sh  home  lib64       media  opt   root  sbin  sys  usr
dev  etc            lib   lost+found  mnt    proc  run   srv   tmp  var
[root@21cbde00e6d3 /]# ./entrypoint.sh
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 172.17.0.2. Set the 'ServerName' directive globally to suppress this message
[root@21cbde00e6d3 /]# ss -antl
State    Recv-Q   Send-Q       Local Address:Port       Peer Address:Port   Process   
LISTEN   0        128                0.0.0.0:80              0.0.0.0:*      

//写一个脚本执行


[root@21cbde00e6d3 /]# ./entrypoint.sh
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 172.17.0.2. Set the 'ServerName' directive globally to suppress this message
[root@21cbde00e6d3 /]# ss -antl
State    Recv-Q   Send-Q       Local Address:Port       Peer Address:Port   Process   
LISTEN   0        128                0.0.0.0:80              0.0.0.0:*  
//启动

[root@localhost ~]# curl 172.17.0.2
<html><body><h1>It works!</h1></body></html>
//能访问c1

接下来制作一个镜像

[root@localhost ~]# docker commit -a 'ming <1@2.com>' -c 'CMD ["/entrypoint.sh"]' -p c1 httpd:v0.3
sha256:b76bfd2ecb6edbc2c2f9c83e3c918c9d3cedd7285766b225de9dc85175f35ac6
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED          SIZE
httpd        v0.1      b76bfd2ecb6e   13 seconds ago   727MB
centos       latest    5d0da3dc9764   7 months ago     231MB

[root@localhost ~]# docker run -d --name web -p 80:80 httpd:v0.3
594518997f412b2e3f736f680b5ee734066fe410636cdad2c6ccfd6d613394cb
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE        COMMAND            CREATED          STATUS          PORTS                               NAMES
594518997f41   httpd:v0.3   "/entrypoint.sh"   4 seconds ago    Up 3 seconds    0.0.0.0:80->80/tcp, :::80->80/tcp   web
21cbde00e6d3   centos       "/bin/bash"        57 minutes ago   Up 57 minutes                                       c1

让apache在前台运行

[root@21cbde00e6d3 /]# pkill httpd
[root@21cbde00e6d3 /]# ss -ant
State   Recv-Q   Send-Q       Local Address:Port       Peer Address:Port   Process 

[root@21cbde00e6d3 /]# /usr/local/apache/bin/httpd -DFOREGROUND
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 172.17.0.2. Set the 'ServerName' directive globally to suppress this message

[root@localhost ~]# curl 172.17.0.2
<html><body><h1>It works!</h1></body></html>

 在制作一个镜像来运行

[root@localhost ~]# docker rm -f web
web


[root@localhost ~]# docker commit -a 'ming <1@2.com>' -c 'CMD ["/usr/local/apache/bin/httpd","-D","FOREGROUND"]' -p c1 httpd:v0.4
sha256:2a1225ff5335ba06225ced5a7da35f50966443aa46217b9652e89187f681f16f

[root@localhost ~]# docker start web1
web1
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE        COMMAND                  CREATED              STATUS             PORTS                               NAMES
680986b8c5c9   httpd:v0.4   "/usr/local/apache/b…"   About a minute ago   Up 3 seconds       0.0.0.0:80->80/tcp, :::80->80/tcp   web1
21cbde00e6d3   centos       "/bin/bash"              About an hour ago    Up About an hour                                       c1
//启动查看

[root@localhost ~]# curl 172.17.0.3
<html><body><h1>It works!</h1></body></html>

 压缩镜像

[root@21cbde00e6d3 /]# cd /var/
[root@21cbde00e6d3 var]# du -sh *
0	adm
55M	cache
0	crash
0	db
0	empty
0	ftp
0	games
0	gopher
0	kerberos
29M	lib
0	local
0	lock
1.7M	log
0	mail
0	nis
0	opt
0	preserve
0	run
0	spool
0	tmp
0	yp
//删除多余不需要的东西
[root@21cbde00e6d3 var]# cd cache
[root@21cbde00e6d3 cache]# ls
bpf  dnf  ldconfig  private
[root@21cbde00e6d3 cache]# rm -rf *

[root@21cbde00e6d3 usr]# du -sh *
43M	bin
0	games
14M	include
41M	lib
143M	lib64
56M	libexec
47M	local
11M	sbin
115M	share
151M	src
0	tmp
[root@21cbde00e6d3 usr]# cd src/
[root@21cbde00e6d3 src]# ls
debug  kernels	software
[root@21cbde00e6d3 src]# rm -rf software/

[root@21cbde00e6d3 usr]# dnf -y remove gcc make 
//删除编译工具

[root@21cbde00e6d3 /]# rm -f entrypoint.sh
//删除脚本

删除一些多余的工具我们再来做一个镜像对比

[root@localhost ~]# docker commit -a 'ming <1@2.com>' -c 'CMD ["/usr/local/apache/bin/httpd","-D","FOREGROUND"]' -p c1 httpd:v0.5
sha256:8fb71812434e071e1301daeb2d0177770f5aae6fc1b9e166b862d82208b86d59
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED          SIZE
httpd        v0.5      8fb71812434e   33 seconds ago   385MB
httpd        v0.4      2a1225ff5335   18 minutes ago   727MB

docker容器虚拟化

虚拟化网络

Network Namespace 是 Linux 内核提供的功能，是实现网络虚拟化的重要功能，它能创建多个隔离的网络空间，它们有独自网络栈信息。不管是虚拟机还是容器，运行的时候仿佛自己都在独立的网络中。而且不同Network Namespace的资源相互不可见，彼此之间无法通信。

假如我们的物理机有4块物理网卡，我们要创建4个名称空间，而这些设备是可以单独关联至某个单独的名称空间使用的

如上图所示，把第一块网卡分配给第一个名称空间，第二块分给第二个名称空间，第三块分给第三个名称空间，第四块分给第四个名称空间。此时其它名称空间都是看不见当前所在名称空间的，因为一个设备只能属于一个名称空间。

这种方式使得每一个名称空间都能配置IP地址，并且与外部网络直接通信，因为它们使用的是物理网卡。

但如果我们所拥有的名称空间数量超过物理网卡数量呢？此时我们可以使用虚拟网卡设备，用纯软件的方式来模拟一组设备来使用。Linux内核级支持2种级别设备的模拟，一种是二层设备，一种是三层设备。

Linux内核模拟的二层设备，每个网络接口设备是成对出现的，可以模拟为一根网线的两端，其中一端模拟主机的虚拟网卡，另一端模拟虚拟交换机，就相当于让一个主机连到一个交换机上去。Linux内核原生支持二层虚拟网桥设备，即用软件虚拟交换机的功能。如下图所示：

那么此时如果再有一个名称空间，它有创建了一对虚拟网卡，一端连接名称空间，一端连接虚拟交换机，此时就相当于两个名称空间连接到了同一个交换机网络中，此时如果两个名称空间的网卡地址配置在同一网段，那么很显然他们之间是可以互相通信的。如下图所示：

从网络通信的物理设备到网卡都是用纯软件的方式来实现，这种实现方式就叫做虚拟化网络。

单节点容器间通信

如果在同一个物理机上的两个容器想通信，我们的办法就是在这台主机上建立一个虚拟交换机，而后让两个容器各自用纯软件的方式创建一对虚拟网卡，一半在容器上，一半在虚拟交换机上，从而实现通信。如下图所示：

这就是单节点上两个容器间的通信方式。单节点上两个容器之间的通信也有一些复杂情况，比如我们期望构建的容器要跨交换机通信呢？

我们做两个虚拟交换机，两个交换机上各自连接不同的容器，如上图所示，此时如果要C1和C3通信又该如何实现呢？其实我们可以通过名称空间创建一对网卡，一端连SW1，另一端连SW2，这样一来两个交换机就连起来了，照理说这样一来C1和C3这两个处于不同交换机的容器就可以实现通信了，但是这样一来又存在另一个问题，那就是如果C1和C3在不同网络呢？如果不在同一网络我们就必须要通过路由转发才能使其通信，也就是我们得在两台交换机之间加一个路由器，其实Linux内核本身就是支持路由转发的，只需要我们将路由转发功能打开即可。此时我们可以再启动一个容器，这个容器里面就跑一个内核，并将其转发功能打开，这样一来就模拟了一台路由器，通过这台路由器来实现路由转发。

不同节点容器间通信

如上图所示，此时如果C1要与C5进行通信又该如何实现呢？如果我们采用桥接的方式，很容易产生广播风暴，因此，在大规模的虚拟机或容器的场景中，使用桥接的方式无疑是自取灭亡，所以我们不应该使用桥接的方式来实现通信。

如果一来，我们既不能桥接，又需要与外部来实现通信，那就只能使用NAT技术了。通过DNAT将容器的端口暴露到宿主机上，通过访问宿主机的端口来实现访问容器内部的目的，而在请求端我们需要做SNAT将数据包通过宿主机的真实网卡转发出去。但这样做的话，因为要进行两次NAT转换，所以效率会比较低。

此时我们可以采用一种叫做Overlay Network（叠加网络）的技术来实现不同节点间容器的相互通信功能。

Overlay Network会将报文进行隧道转发，也就是在报文发出去之前要为其添加一个IP首部，也就是上图的1.1和1.2这部分，这里的1.1是源，1.2是目标，当宿主机2收到报文后解封装发现要找的目标容器是C2，于是把包转发给C2。