CDN之varnish代理服务器的搭建

CDN简介

CDN（Content Delivery Network）是构建在网络之上的内容分发网络,依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需 内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。
CDN的基本原理是广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由缓存服务器直接响应用户请求。
搭建CDN系统可以选择3种主流方案：
1. squid 2. varnish 3. Nginx+memcache

---

Varnish简介

Varnish是一款高性能的开源HTTP加速器,开源的反向代理服务器和缓存服务器，挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid，性能比以前更好

网站的基本访问方式

如果varnish上面没有缓存

client   ->  /hosts/dns   ->  varnish  -> 服务器-> varnish -> client

 如果varnish上面有缓存

client  ->  /hosts/dns   ->  varnish ->  client

---

实验环境

主机名	IP	服务
server1	172.25.1.1	Varnish
server2	172.25.1.2	Apache
server3	172.25.1.3	Apache
foundation1	172.25.1.250	Client

---

varnish的安装与配置

varnish下载地址：http://varnish-cache.org/releases/
yum install -y varnish-libs-3.0.5-1.el6.x86_64.rpm varnish-3.0.5-1.el6.x86_64.rpm
#安装varnish
[root@server1 varnish]# sysctl -a |grep file   #查看虚拟机最大打开文件数
fs.file-nr = 480    0    98861
fs.file-max = 98861

修改安全限制文件，保证流量大时，服务可以正常运行 
打开文件的最大数,有如下关系:
内核操作> 操作系统> 软件
vim /etc/sysconfig/varnish    #修改
# Maximum number of open files (for ulimit -n)

NFILES=98861
# Locked shared memory (for ulimit -l)
# Default log size is 82MB + header
MEMLOCK=82000

# Maximum number of threads (for ulimit -u)
NPROCS="unlimited"


vim /etc/security/limits.conf
#指定varnish用户可以使用的资源限制
 51 varnish         -       nofile          98861
 52 varnish         -       memlock         82000
 53 varnish         -       nproc           unlimited

修改varnish的端口

vim /etc/sysconfig/varnish     
66 VARNISH_LISTEN_PORT=80
#修改varnish的默认端口为80

varnish的配置文件

    基本配置文件：/etc/varnish/default.vcl

    脚本配置文件：/etc/sysconfig/varnish   用于指定配置参数，可以修改缓存保存时间，大小等

开启服务

[root@server1 ~]# /etc/init.d/varnish  start
[root@server1 ~]# netstat -antlp

缓存配置

在server1中配置varnish   
 vim /etc/varnish/default.vcl

    backend default {
         .host = "172.25.1.2";  #添加http服务端ip
         .port = "80";
      }
/etc/init.d/varnish reload ##重新加载

[root@foundation1 ~]# curl 172.25.1.1
www.redhat.com server2
通过客户端访问server1的ip会得到server2的发布页面，因为在server1中缓存的server2的发布页面

修改缓存命中提示语

 vim /etc/varnish/default.vcl

  7 backend default {
  8   .host = "172.25.1.2";
  9   .port = "80";
 10 }
 11
 12 sub vcl_deliver {
 13 if (obj.hits > 0) {
 14 set resp.http.X-Cache = "HIT from redhat cache";
 15 }
 16 else {
 17 set resp.http.X-Cache = "MISS from redhat cache";
 18 }
 19 return (deliver);
 20 }
/etc/init.d/varnish  reload

 

通过 varnishadm 手动清除缓存

varnishadm ban.url .*$         ##清除所有
varnishadm ban.url /index.html ##清除 index.html 页面缓存
varnishadm ban.url /admin/$    ##清除 admin 目录缓存

varnish实现负载均衡

（负载均衡可以减轻主服务器的压力）

    backend web1 {
      .host = "172.25.1.2";
      .port = "80";
    }

    backend web2 {
      .host = "172.25.1.3";
      .port = "80";
    }
    sub vcl_deliver {
    if (obj.hits > 0) {
    set resp.http.X-Cache = "HIT from redhat cache";
    }
    else {
    set resp.http.X-Cache = "MISS from redhat cache";
    }
    return (deliver);
    }
    #varlish 负载均衡

    # lb 轮询机制配置
    director redhat round-robin {
    {       .backend = web1; }
    {       .backend = web2; }
    }


    sub vcl_recv {
    if (req.http.host ~ "^(www.)?redhat.com") {
    set req.http.host = "www.redhat.com";
    set req.backend = redhat;    #修改接收为redhat,在轮询机制处有定义
    return(pass);        #为了测试方便，不进行缓存
    } elsif (req.http.host ~ "^www.linux.com") {
    set req.backend = web2;
    } else {error 404 "redhat cache";
    }
    }
[root@server1 ~]# /etc/init.d/varnish reload  ##重新加载配置文件
通过在客户端访问www.redhat.com，如果访问页不同，页面会在web1和web2中来回切换

此实验可以通过apache的虚拟主机来辅助测试

    关于apache的虚拟主机设置参考
    vim  /etc/httpd/conf/httpd.conf 
    990 NameVirtualHost *:80

    1010 <VirtualHost *:80>
    1011         ServerName www.linux.com
    1012         DocumentRoot    /var/www/html
    1013 </VirtualHost>
    1014 <VirtualHost *:80>
    1015         ServerName www.redhat.com
    1016         DocumentRoot    /www
    1017 </VirtualHost>
    /etc/init.d/httpd restart

搭建CDN推送平台

在varnish中，当web服务器更新了发布页面以后，varnish服务器中的缓存信息不会立即变化，客户还是会通过访问varnish服务器中旧的信息，所以需要我们去推送信息页面，将varnish中的指定缓存清理，让varnish去重新缓存发布页面

1.server1中安装httpd

[root@server1 ~]# yum install httpd php -y

2.修改httpd的默认端口为8080

因为varnish已经占用了80端口,所以修改httpd的端口为8080
vim /etc/httpd/conf/httpd.conf
Listen 8080

3.下载bansys安装包

http://code.google.com/p/varnish-php-bansys/

unzip -x bansys.zip
mv * /var/www/html/   #将解压文件移动到默认发布目录
yum install -y php

[root@server1 html]# cd /var/www/html
[root@server1 html]# ls
class_socket.php  config.php  index.php  purge_action.php  static
[root@server1 html]# vim config.php #修改推送服务配置
<?php
 $var_group1 = array(
                        'host' => array('172.25.1.1'),
                        'port' => '80',                  
                    );




 //varnish群组定义
 //对主机列表进行绑定
 $VAR_CLUSTER = array(
                         'www.redhat.com' => $var_group1,
                     );


 //varnish版本
 //2.x和3.x推送命令不一样
 $VAR_VERSION = "3";

?>
[root@server1 html]#  /etc/init.d/httpd start

 浏览器访问

bansys 有两种工作模式,分别是:telnet 和 http 模式
【1】telnet 模式需要关闭 varnish 服务管理端口的验证,注释掉/etc/sysconfig/varnish 文件中的 “ -S $
{VARNISH_SECRET_FILE}”这行,重启 varnish 服务即可。
【2】 如果是 http 模式需要对 varnish 做以下设置:

[root@server1 varnish]# vim /etc/varnish/default.vcl
acl redhat {     #访问白名单
"127.0.0.1";
"172.25.1.0"/24;
}

backend default {
  .host = "172.25.1.2";
  .port = "80";
}

sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from redhat cache";   
}
else {
set resp.http.X-Cache = "MISS from redhat cache";
}
return (deliver);
}


sub vcl_recv {
if (req.request == "BAN") { #添加推送代码
if (!client.ip ~ redhat) {   # 如果客户端的IP不是redhat
error 405 "Not allowed.";
}
ban("req.url ~ " + req.url);
error 200 "ban added";
}
}

测试