CDN缓存系统--varnish

一、CDN缓存系统

1、 概念

CDN：content distribute network（内容分发网络）或者content delivery network（内容交付网络）。CDN的任务是将内容从源站传递给用户。

常说的互联网由两层组成：

• 一层是以TCP/IP为代表的网络层（狭义的互联网internet），另一层是以www为代表的应用层。
• 通过各种网络设备，实现各个计算机之间的互联互通，实现各种信息数据的低成本传输。

2、CDN的工作原理

（1）无cdn时，用户通过浏览器访问网站的过程:

a.用户在浏览器输入URL
b.浏览器向本地DNS请求域名解析
c.如果本地DNS缓存有该域名的解析结果，则直接将解析结果返回给浏览器
d.如果本地DNS缓存中无该域名的解析结果，则以递归方式向整个DNS系统请求域名解析，在获得应答后将解析结果返回给浏览器
e.浏览器获得解析结果，提取出IP信息，使用IP向服务器请求数据
f.服务器返回数据给浏览器

（2）有cdn时，用户通过浏览器访问网站的过程

a.用户在浏览器中输入URL
n.浏览器向本地DNS请求域名解析，DNS会将域名解析权转交给CNAME指向的CDN专用的DNS服务器
c.CDN专用的DNS服务器将CDN的全局负载均衡设备的IP返回给浏览器
d.浏览器向CDN全局负载均衡设备发起URL请求
e.CDN全局负载均衡设备根据请求的URL和用户的IP地址，将用户请求转发到用户所在区域的区域负载均衡设备
f.区域负载均衡设备，根据用户IP、请求URL、缓存服务器的负载情况等，返回一台合适的服务器IP给用户
g.用户向缓存服务器发起请求
h.缓存服务器响应用户请求，如果用户请求的内容缓存服务器上不存在，则缓存服务器要向上一级缓存服务器请求内容，直到追溯到网站的源服务器

二、varnish

1、什么是varnish？

• varnish是一个反向HTTP代理，有时称为HTTP加速器或web加速器
• varnish将文件或文件片段储存在内存中，使他们能够快速被提供
• varnish本质上是一个键/值存储，它通常使用url作为键
• varnish是为现代硬件、现在操作系统和现代工作负载而设计的

2、varnish加速器与Squid加速器的对比

• Squid加速器（代理缓存服务器）是将从服务器要回来的资源放在自己的硬盘里，客户读取的速率很慢，代理的效率低

• varnish加速器（代理缓存服务器）是将从服务器要回来的资源放在自己的内存里，客户读取的速率很快，代理的效率高

3、varnish代理服务器的工作方式

varnish代理服务器的工作方式有两种：

（1）仅仅作为一个代理服务器：帮客户端去问服务端要数据，要回来的数据直接给客户端自己不缓存一份，这种情况是客户的隐私信息、热点信息、更新比较快的数据，不缓存，只代理。

（2）既代理又缓存：帮客户端去问服务端要数据，要回来的数据先给自己缓存一份，然后再发给客户端，这种情况是用于更新比较慢的数据，此时varnish既代理又缓存。

4、为什么要使用varnish加速缓存代理服务器？

• 使用varnish加速缓存代理服务器，加快了客户端和服务端之间的访问速率。

简单来说: 全国有许多用户都在使用淘宝网购，而阿里的服务器总部在杭州。在全国多个用户都在使用淘宝时，会对服务器造成很大的访问压力，甚至会造成服务器瘫痪。
现在阿里总部给每个地区都放varnish代理服务器，每个地区的用户想访问淘宝资源的时候，都会先去问自己地区的varnish代理服务器要资源。
如果varnish代理服务器上面没有资源，此时varnish代理服务器就会去向杭州的服务器要资源，将要回来的资源视情况而定给自己缓存一份，然后再给客户端发一份。
这种情况下，varnish代理服务器的数量远远少于全国淘宝用户的数量，即使所有的varnish代理服务器同时向杭州总部的服务器要资源，也不会给总部的服务器造成很大的压力，用户的浏览速度也不会因为人数太多而卡顿。
假如代理服务器缓存了一些更新过的数据，当客户端再次要这个数据的时候，代理服务器会直接返回给客户端，不需要再去问总部的服务器要资源。
这就是为什么把varnish服务器叫做加速器的原因。

5、varnish加速器的工作流程

Varnish启动会产生master主（management）进程和child子（worker ，主要做cache的工作）进程

作用：

（1）master进程读入(更新)配置，vcl文件编译，varnish监控，初始化varnish及提供varnish管理接口。
（2）child进程分配若干线程进行工作，主要包括一些管理线程和很多woker线程。
注意： Manegement进程每隔几秒探测以下child进程以判断其是否正常运行，如果在指定的时长内未得到child进程的回应，management将会重启此child进程.

流程：

• 针对文件缓存部分，master读入存储配置，调用合适的存储类型，然后创建/读入相应大小的缓存大文件。
• 接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。
• 在child进程主线程初始化过程中，将前面打开的存储大文件整个mmap到内存中（如果超出系统的虚拟内存，mmap失败，进程会减少原来的配置mmap大小，然后继续mmap）
  此时创建并初始化空闲存储结构体，挂到存储管理结构体，以待分配。
• 接着，Varnish的某个负责接受新HTTP连接的线程开始等待用户，如果有新的HTTP连接过来，它总负责接收，
  然后叫醒某个等待中的线程，并把具体的处理过程交给它。Worker线程读入HTTP请求的URI，查找已有的object，
• 如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。

6、分配缓存的过程：

• varnish根据所读到object的大小，创建相应大小的缓存文件。（为了读写方便，程序会把每个object的大小变为最接近其大小的内存页面倍数。）
• 然后从现有的空闲存储结构体中查找，找到最合适的大小的空闲存储块，分配给它。
  如果空闲块没有用完，就把多余的内存另外组成一个空闲存储块，挂到管理结构体上。
  如果缓存已满，就根据LRU机制，把最旧的object释放掉。 释放缓存的过程是这样的：有一个超时线程，检测缓存中所有object的生存期。
• 如果超初设定的TTL（Time To Live）没有被访问，就删除它，并且释放相应的结构体及存储内存。（释放时会检查该存储内存块前面或后面的空闲内存块。如果前面或后面的空闲内存和该释放内存是连续的，就将它们合并成更大一块内存。）
• 整个文件缓存的管理，没有考虑文件与内存的关系，实际上是将所有的object都考虑是在内存中。
• 如果系统内存不足，系统会自动将其换到swap空间，而不需要varnish程序去控制。

三、varnish部署

1、开启两台虚拟机

第一台：ip：172.25.254.51 hostname：server1
第二台：ip：172.25.254.52 hostname：server2

2、安装varnish

（1）安装

在虚拟机server1上安装varnish：
注意： varnish需要一个依赖包：jemalloc-3.6.0-1.el7.x86_64.rpm，这个安装包可以在pkgs.org网站中获取下载。
varnish安装包可以在官网获得。

yum install -y jemalloc-3.6.0-1.el7.x86_64.rpm varnish-6.3.1-1.el7.x86_64.rpm

（2）相关信息查看和修改

varnish的配置文件查看：

[root@server1 ~]# rpm -qc varnish-6.3.1-1.el7.x86_64
/etc/ld.so.conf.d/varnish-x86_64.conf
/etc/logrotate.d/varnish
/etc/varnish/default.vcl

服务启动文件查看：

cat /usr/lib/systemd/system/varnish.service
LimitNOFILE=131072  	# 最大可以打开文件数
LimitMEMLOCK=85983232  	# 最大锁定内存空间

查看系统允许的最大文件数：

[root@server1 ~]# sysctl -a |grep file    # 内存为1024
fs.file-max = 98287   # 系统中的最大文件数
fs.file-nr = 928	0	98287
fs.xfs.filestream_centisecs = 3000

[root@server1 ~]# sysctl -a | grep file   # 修改内存为2048
fs.file-max = 184182
fs.file-nr = 864	0	184182
fs.xfs.filestream_centisecs = 3000

在虚拟机配置界面修改虚拟机内存大小，改为2G，以满足varnish需求。

修改系统参数：
在系统参数限制文件：/etc/security/limits.conf 中写入限制信息：

[root@server1 ~]# vim /etc/security/limits.conf
# End of file
#写入：
varnish          -       nofile          131072
varnish          -       memlock         82000

3、配置varnish

（1）配置后端服务器

把虚拟机 server2 作为后端服务器，在虚拟机 server2 上：

[root@server2 ~]# yum install httpd -y
[root@server2 ~]# cd /var/www/html/
[root@server2 html]# ls
[root@server2 html]# vim index.html
[root@server2 html]# cat index.html 
server2
[root@server2 html]# systemctl start httpd

（2）配置端口

a.在server1虚拟机中，修改varnish的主配置文件：

[root@server1 ~]# vim /etc/varnish/default.vcl 
backend default {
    .host = "172.25.254.52";
    .port = "80";
}

b.在server1上修改端口：

[root@server1 ~]# vim /usr/lib/systemd/system/varnish.service  # 修改varnish的端口
ExecStart=/usr/sbin/varnishd -a :80 -T localhost:6082 -f /etc/varnish/default.vcl -s malloc,256m
[root@server1 ~]# systemctl start varnish
[root@server1 ~]# netstat -antlpe|grep varnish	##查看端口情况
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      0          24133      2120/varnishd       
tcp        0      0 127.0.0.1:6082          0.0.0.0:*               LISTEN      0          24195      2120/varnishd       
tcp6       0      0 :::80                   :::*                    LISTEN      0          24134      2120/varnishd       
tcp6       0      0 ::1:6082                :::*                    LISTEN      0          24194      2120/varnishd       

4、测试

在主机上输入：

curl 172.25.254.51
##显示：
server2

表示可以通过代理服务器server1（172.25.254.51）访问到服务器server2（172.25.254.52），一个基本的varnish服务就搭建好了。