企业CDN缓存系统varnish-------搭建最基本的varnish系统

目前互联网企业大多数使用nginx这个功能比较多的服务器，但是单学一个varnish服务器可以让大家彻底理解原理

1.什么是varnish?

Varnish是一款高性能的开源HTTP加速器
与squid加速器（代理缓存服务器）一样都是都是一个反向代理服务器
之前的squid加速器（代理缓存服务器）是将从服务器要回来的资源放在自己的硬盘里，客户读取的速率很慢，代理的效率低
现在的varnish加速器（代理缓存服务器）是将从服务器要回来的资源放在自己的内存里，客户读取的速率很快，代理的效率高

varnish代理服务器的工作方式有两种
（1）仅仅作为一个代理服务器：帮客户端去问服务端要数据，要回来的数据直接给客户端自己不缓存一份，这种情况是客户的隐私信息、
热点信息、更新比较快的数据，不缓存，只代理。
（2）既代理又缓存：帮客户端去问服务端要数据，要回来的数据先给自己缓存一份，然后再发给客户端，这种情况是用于更新比较慢的数据，此时varnish既代理又缓存。

2.varnish的工作流程

Varnish与一般服务器软件类似，分为master（management）进程和child（worker，主要做cache的工作）进程。master进程读入命令，进行一些初始化，然后fork并监控child进程。child进程分配若干线程进行工作，主要包括一些管理线程和很多woker线程。
针对文件缓存部分，master读入存储配置（-s file[,path[,size[,granularity]]] ），调用合适的存储类型，然后创建/读入相应大小的缓存大文件。接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。
在child进程主线程初始化过程中，将前面打开的存储大文件整个mmap到内存中（如果超出系统的虚拟内存，mmap失败，进程会减少原来的配置mmap大小，然后继续mmap），此时创建并初始化空闲存储结构体，挂到存储管理结构体，以待分配。
接着，真正的工作开始，Varnish的某个负责接受新HTTP连接的线程开始等待用户，如果有新的HTTP连接过来，它总负责接收，然后叫醒某个等待中的线程，并把具体的处理过程交给它。Worker线程读入HTTP请求的URI，查找已有的object，如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。
分配缓存的过程是这样的：它根据所读到object的大小，创建相应大小的缓存文件。为了读写方便，程序会把每个object的大小变为最接近其大小的内存页面倍数。然后从现有的空闲存储结构体中查找，找到最合适的大小的空闲存储块，分配给它。如果空闲块没有用完，就把多余的内存另外组成一个空闲存储块，挂到管理结构体上。如果缓存已满，就根据LRU机制，把最旧的object释放掉。
释放缓存的过程是这样的：有一个超时线程，检测缓存中所有object的生存期，如果超初设定的TTL（Time To Live）没有被访问，就删除之，并且释放相应的结构体及存储内存。注意释放时会检查该存储内存块前面或后面的空闲内存块，如果前面或后面的空闲内存和该释放内存是连续的，就将它们合并成更大一块内存。
整个文件缓存的管理，没有考虑文件与内存的关系，实际上是将所有的object都考虑是在内存中，如果系统内存不足，系统会自动将其换到swap空间，而不需要varnish程序去控制。

3.搭建一个基本的varnish服务器

• 步骤一：安装虚拟机（作为母盘）
  安装一个7.3版本的虚拟机，找到7.3的iso，采用本地安装，本次安装与之前的区别：不用安装图形界面，采用自动分盘，如此安装的文件数少，速度较快，同时也可满足需求
  具体操作如下：
  使用virt-manager命令调出虚拟机管理界面：
  
  
  点击界面上的小电视，进入虚拟机创建界面；选择第一个本地安装
  
  找到rhel-server-7.3-x86_64-dvd.iso的路径进行安装：
  
  
  
  
  选择第一个进行安装
  
  选择语言（建议英文，避免系统翻译错误，导致歧义）
  
  进入配置界面
  
  选择时区
  
  进行分区配置
  点击：
  
  选择自动分区
  
  点击
  
  去掉选择：
  
  选择完成后，点击Begin Installation开始安装
  
  
  在此时，设置超户密码
  
  设置完成后等待安装完成，完成后选择Reboot重启
  
• 步骤二：配置虚拟机
  1.配置网络
  首先在真机查看ip，可以发现私有网段ip：172.25.21.250
  
  此时在新建虚拟机，执行vi /etc/sysconfig/network-scripts/ifcfg-eth0配置网络：
  ip为真机的私有网段ip
  网关为真机ip
  
  配置完成后重启网络，查看ip
  
  2.关闭 NetworkManager（网络管理员）
  systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager
  
  3.更改主机名
  hostnamectl set-hostname server1
  
  4.添加解析

vi /etc/hosts
172.25.61.250 真机名
172.25.61.1 server1
172.25.61.2 server2
172.25.61.3 server3
172.25.61.4 server4
172.25.61.5 server5
172.25.61.6 server6

5.关闭selinux
vi /etc/sysconfig/selinux

6.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

7.在真机上搭载共享yum源，使虚拟机可以使用
查看真机httpd服务是否开启

在默认发布目录/var/www/html/上挂在yum镜像
mount /iso/rhel-server-7.3-x86_64-dvd.iso /var/www/html/rhel7.3/

查看挂载

在网页上查看是否共享

在虚拟机上新建编辑yum源文件

vi /etc/yum.repos.d/rhel7.3.repo
[rhel7.3]
name=rhel7.3
baseurl=http://172.25.61.250/rhel7.3
gpgcheck=0

查看是否可用,并安装软件

yum clean all
yum repolist
yum install -y vim lftp net-tools bash-*

8.编辑开机引导文件（若初始网卡不是eth0时编写）
vim /boot/grub2/grub.cfg
在99行后加net.ifnames=0,使得再次开机或建立快照时启用eth0网卡

9.检查完成后poweroff关闭虚拟机

• 步骤三：在真机上清理新建立虚拟机的缓存

在真机上面：
yum install libguestfs-tools-c-1.32.7-3.el7.x86_64 -y

cd /var/lib/libvirts/images
ls查看虚拟机母盘的名字
virt-sysprep -d rhel7.3  ##清理缓存
du -sh rhel7.3.qcow2  ##查看此虚拟机大小

此时就可以删除虚拟机rhel7.3的软链接（相当于快捷方式）了,作为母盘，防止误操作

• 步骤四：给rhel7.3虚拟机创建3个快照，用于后续实验

qemu-img create -f qcow2 -b rhel7.3.qcow2 server1 
qemu-img create -f qcow2 -b rhel7.3.qcow2 server2 
qemu-img create -f qcow2 -b rhel7.3.qcow2 server3
du -sh server*  #查看一下3个快照的大小

• 步骤五：用新建的3个快照分别创建虚拟机
  变更主机名及变更ip
  
  
  此时server1和server2虚拟机已经建立ok
  接下来我们在server1上搭建varnish代理服务器，server2上搭建web服务器，真机作为客户端

• 步骤六：安装varnish服务
  将真机上的varnish安装包（3个）传给server1，并进行安装
  

• 步骤七：查看varnish服务的基本信息

rpm -qa | grep varnish查看版本
rpm -qc varnish查看一下服务的配置文件

安装varnish服务之后就会自动建立varnish用户

vim /usr/lib/systemd/system/varnish.service是varnish服务启动脚本
里面有一些最基本的参数：允许开启的文件个数 内存锁定大小
ulimit -l查看系统的内存大小
free -m查看系统的剩余内存
sysctl -a | grep file查看系统允许开启文件的最大个数

vim /etc/security/limits.conf系统参数限制文件
写入：
varnish nofile 131072
varlish memlock 82000

vim /etc/varnish/varnish.params #修改varnish服务端口为80

启动varnish服务

现在server1上面varnish代理服务器已经搭建好

• 步骤8：把server2搭建成一个web服务器

yum install -y httpd
systemctl start httpd
vim /var/www/html/index.html
www.westos.org
curl localhost可以看到web已经搭建好了

• 步骤9：server1上面设置，将node1作为一个代理服务器，它的后端服务器是server2这个web服务器
  客户端请求web服务器的资源通过server1这个代理服务器

vim /etc/varnish/default.vcl
将ip改为172.25.62.2（改称server2的ip）
80
systemctl restart varnish
netstat -tnlp

• 步骤10：在真机上面进行测试
  真机通过server1（varnish代理缓存服务器）访问server2（web服务器）的web资源
  curl 172.25.61.1(找的是172.25.61.2的资源)
  先给真机写入解析
  
  
  发现访问server1时，实际是访问server2的发布内容

• 步骤11：继续在server1上面配置
  打开varnish的官方文档说明
  
  

vim /etc/varnish/default.vcl
写入sub vcl_deliver模块
写入两种情况：node1有缓存 node1没有缓存
systemctl restart varnish

• 步骤12：在真机上面进行测试
  
  
  发现客户端第一次去问代理服务器要东西，代理服务器上没有，就去后端服务器要了
  
  第二次代理服务器上已有缓存，所以直接给客户端
• 步骤13：在server1上面varnishadm ban req.url “~” / 清除缓存，继续在真机测试