手把手让你实现开源企业级web高并发解决方案（lvs+heartbeat+varnish+nginx+eAccelerator+memcached）

最新推荐文章于 2021-02-20 09:49:45 发布

maikforever

最新推荐文章于 2021-02-20 09:49:45 发布

阅读量1.0k

点赞数

分类专栏： WEB

WEB 专栏收录该内容

18 篇文章 0 订阅

订阅专栏

此文凝聚笔者不少心血请尊重笔者劳动，转载请注明出处。违法直接人肉出电话写大街上。

http://freeze.blog.51cto.com/
个人小站刚上线

http://www.linuxwind.com

有问题还可以来QQ群89342115交流。

今儿网友朋友说：freeze黔驴技穷了，博客也不更新，也不跟网友互动了.

...

那好吧，我就来一篇重量级的..这篇就叫做

《手把手让你实现开源企业级web高并发解决方案》

（lvs+heartbeat+varnish+nginx+eAccelerator +memcached）

本来想起个比较风趣点的标题，可想来思去，还是走常规路线，做一系列的手把手吧。

这样一来，便于我的老朋友们识别,也让我对这篇文章的粒度把我有个定位。

本篇博文主要介绍利用开源的解决方案，来为企业搭建web高并发服务器架构花了一个多小时，画了张图片，希望能先帮你理解整个架构，之后我在一一介绍.linux的大型架构其实是一点点小架构拼接起来的，笔者从各个应用开始配置，最后在完全整合起来，以实现效果。

笔者所使用的环境为RHEL5.4 内核版本2.6.18 实现过程在虚拟机中，所用到的安装包为DVD光盘自带rpm包

装过 Development Libraries Development Tools 包组

笔者虚拟机有限，只演示单边varnish配置

一、配置前端LVS负载均衡

笔者选用LVS的DR模型来实现集群架构，如果对DR模型不太了了解的朋友建议先去看看相关资料。

本模型实例图为：

现在director上安装ipvsadm，笔者yum配置指向有集群源所以直接用yum安装。

yum install ipvsadm

下面是Director配置：

DIP配置在接口上 172.16.100.10

VIP配置在接口别名上：172.16.100.1

varnish服务器配置：RIP配置在接口上：172.16.100.11 ；VIP配置在lo别名上

如果你要用到下面的heartbeat的ldirectord来实现资源转换，则下面的# Director配置不用配置

 
 # Director配置
ifconfig eth0 172.16.100.10/16 
ifconfig eth0:0 172.16.100.1 broadcast 172.16.100.1 netmask 255.255.255.255 up 
route add -host 172.16.100.1 dev eth0:0 
echo 1 > /proc/sys/net/ipv4/ip_forward

 
 # varnish服务器修改内核参数来禁止响应对VIP的ARP广播请求 
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore 
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

 
 # 配置VIP 
ifconfig lo:0 172.16.100.1 broadcast 172.16.100.1 netmask 255.255.255.255 up 
# 凡是到172.16.100.1主机的一律使用lo:0响应 
route add -host 172.16.100.1 dev lo:0

 
 # 在Director上配置Ipvs，笔者虚拟机有限，只演示单台配置
ipvsadm -A -t 172.16.100.1:80 -s wlc 
ipvsadm -a -t 172.16.100.1:80 -r 172.16.100.11 -g -w 2 
ipvsadm -Ln

至此，前端lvs负载均衡基本实现，下面配置高可用集群

PS：如果用ldirectord把lvs定义为资源的话，前面

二、heartbeat高可用集群

本应用模型图：

高可用则是当主服务器出现故障，备用服务器会在最短时间内代替其地位，并且保证服务不间断。

简单说明：从服务器和主服务器要有相同配置，才能在故障迁移时让无界感受不到，从而保证服务不间断运行。在你的两台机器(一台作为主节点，另一台为从节点)上运行heartbeat, 并配置好相关的选项，最重要的是lvs资源一定要配置进去。那么开始时主节点提供lvs服务，一旦主节点崩溃，那么从节点立即接管lvs服务。

SO:

director主服务器和从服务器都有两块网卡，一块eth0是和后面varnish服务器通信，另一块eth1是彼此之间监听心跳信息和故障迁移是资源转移。笔者用的eth0是172.16.100.0网段 vip为172.16.100.1 监听心跳为eth1网卡，主从的IP分别为10.10.10.1（node1）和10.10.10.2（node2）

修改上面模型图两台主从服务器的信息

 
 vim /etc/hosts 
10.10.10.1    node1.heartbeat.com         node1 
10.10.10.2    node2.heartbeat.com        node2 
#用于实现两台director节点间域名解析，此操作node1、node2相同

 
 vim /etc/sysconfig/network 
#设置主机名 
hostname node1.heartbeat.com  
#修改主机名使之立即生效，node2也同样修改为node2.heartbeat.com

为了安全起见，node1和node2的通信需要加密进行

ssh-keygen -t rsa
#生成密钥
ssh-copy-id -i .ssh/id_rsa.pub root@node2.heartbeat.com
#将公钥复制给node2
ssh node2 -- ifconfig
#执行命令测试，此时应该显示node2的ip信息

准备工作完成，下面开始安装heartbeat和ldirectord

所需要的安装包为

本人直接用yum来实现，能自动解决依赖关系，node1和node2都需要安装

yum localinstall -y --nogpgcheck ./*
#安装此目录中的所有rpm包

安装后配置：

 
 cd /usr/share/doc/heartbeat-2.1.4 
cp authkeys /etc/ha.d/ 
cp haresources /etc/ha.d/ 
cp ha.cf /etc/ha.d/ 
#拷贝heartbeat所需配置文件到指定目录下

 
 vim /etc/ha.d/ha.cf 
bcast eth1 
#定义心跳信息从那一块网卡传输 
node node1.heartbeat.com
node node2.heartbeat.com
#添加这两行，用于指明心跳信号传输范围 
vim /etc/ha.d/authkeys 
auth 2 
2 sha1 [键入随机数] 
chmod 400 authkeys 
#保存退出并修改权限400 
vim /etc/ha.d/haresource 
node1.heartbeat.com         172.16.100.1/24/eth0/172.16.0.255 ldirectord::ldirectord.cf httpd
#末行添加主节点域名，vip资源，广播地址，ldirectord资源，以及用户提供显示错误页面的httpd资源

同步配置文件到node2

 
 /usr/lib/heartbeat/ha_propagate 
#脚本用来同步ha.cf和authkeys文件到node2 
scp haresources node2:/etc/ha.d/ 
#复制haresource到nod2

配置ldirectord，同步配置文件

 
 cp /usr/share/doc/heartbeat-ldirectord-2.1.4/ldirectord.cf /etc/ha.d/ldirectord.cf 
#复制ldirector的配置文件

内容如下配置

 
 checktimeout=5 
#当DR收不到realserver的回应，设定几秒后判定realserver当机或挂掉了，预设5秒。 
checkinterval=3 
#查询间隔，每个几秒侦测一次realserver 
autoreload=yes 
#配置文件发生改变是否自动重读 
quiescent=yes 
#静态链接，yes：表示侦测realserver宕机，将其权值至零（如果开启了persistent参数不要用yes）；no：表示侦测到宕机realserver，随即将其对应条目从ipvsadm中删除。 
virtual=172.16.100.1:80 
        real=172.16.100.11:80 gate 4 
        fallback=127.0.0.1:80 gate #realserver全部失败，vip指向本机80端口。 
        service=http 
        request="test.html" #用于健康检测的url,realserver的相对路径为var/www/html目录
        receive="ok"    #用于健康检测的url包含的关键字 
        scheduler=wlc 
        #persistent=600 
        #持久链接：表示600s之内同意ip将访问同一台realserver 
        protocol=tcp 
        checktype=negotiate 
        #检查类型：negotiate，表示DR发送请求，realserver恢复特定字符串才表示服务正常；connect，表示DR能够连线realserver即正常。 
        checkport=80

启动两个节点上的heartbeat

 
 service heartbeat start 
ssh node2 -- 'service heartbeat start' 
#启动两节点heartbeat服务

启动后查看/var/log/messages 可以看到启动过程，并可以手动执行/usr/lib/heartbeat/下的hb_standby 来释放资源hb_takeover来争夺资源

还可以通过ipvsadm -Ln 在主节点上查看lvs的资源状态

至此，带状态检测的前端集群已经布置完毕，下面就是varnish缓存服务器和后端nginx的web应用配置

三：varnish缓存服务器

有些朋友可能对varnish不太熟悉，简单做个介绍:

今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。

　　在我看来，使用Varnish代替Squid的理由有三点：
1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。
2、Varnish的稳定性还不错,顺便说一句,Varnish的性能的发挥关键在于Varnish配置文档的优化.
3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的
4. 还有一点,应该算是Varnish的缺点了吧,就是Varnish的缓存基本上在内存中，如果Varnish进程停止再启动，Varnish就会重新访问后端Web服务器,再一次进行缓存.虽然Squid性能没有Varnish高，但它停止、重启的时候，可以直接先从磁盘读取缓存数据。

varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid，性能比以前更好。

varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是 Varnish cache设计架构.

　现在大多数网站都抛弃了 Apache，而选择nginx是因为前者能承受的并发连接相对较低；
抛弃了 Squid，因为它在内存利用、访问速度、并发连接、清除缓存等方面不如 Varnish；
抛弃了 PHP4，因为 PHP5 处理面向对象代码的速度要比 PHP4 快，另外，PHP4 已经不再继续开发；
抛弃了 F5 BIG-IP 负载均衡交换机，F5 虽然是个好东西，但由于价格不菲，多个部门多个产品都运行在其之上，流量大、负载高，从而导致性能大打折扣；

　　利用 Varnish cache 减少了90%的数据库查询，解决了MySQL数据库瓶颈；
利用 Varnish cache 的内存缓存命中加快了网页的访问速度；
利用 Nginx + PHP5(FastCGI) 的胜过Apache 10倍的高并发性能，以最少的服务器数量解决了PHP动态程序访问问题；
利用 Memcached 处理实时数据读写；
利用 HAProxy 做接口服务器健康检查；

　　经过压力测试，每台Web服务器能够处理3万并发连接数，承受4千万PV完全没问题。

可以去varnish的官网下载最新的源码包，笔者为了便于演示，就用rpm包了，（别鄙视我）

varnish官网地址：http://www.varnish-cache.org/

我下的是最新的varnish-release-3.0-1.noarch.rpm

先rpm -ivh varnish-release-3.0-1.noarch.rpm

它的作用是给你yum生成varnish的仓库，然后你在用yum安装varnish

yum install varnish

安装好后配置文件为/etc/default.vcl

本人只实现基本功能，没有对varnish做优化，所以配置比较简单

配置完成后保存退出，需手动启动

varnishd -f /etc/varnish/default.vcl -s malloc,128m -T 127.0.0.1:2000

-f etc/varnish/default.vcl -f 指定varnishd使用哪个配置文件。

-s malloc，1G -s用来指定varnish使用的存储类型和存储容量。我使用的是 malloc 类型（malloc 是一个 C 函数，用于分配内存空间）， 1G 定义多少内存被 malloced。

-T 127.0.0.1：2000 -T 指定varnish的管理端口。Varnish有一个基于文本的管理接口，启动它的话可以在不停止 varnish 的情况下来管理 varnish。您可以指定管理软件监听哪个接口。

-a 0.0.0.0：8080 指定varnish所监听所有IP发给80的http请求。如果不指定-a ，则为默认监听0.0.0.0:

ps:先配置nginx在配置varnish可以直接测试效果，本人为了演示架构层次，所以就一层一层的配置了，建议如果按我的顺序做的话，后端web服务器先用yum装上apache方便测试。varnish到此就配置成功。到此我在帮各位顺一下思路

目前，如果你完全按照本文章做实验，我们用了5台服务器。

一台director 它的vip为172.16.100.1 DIP为172.16.100.10

与它实现高可用的从服务器vip为172.16.100.1 DIP为 172.16.100.12

而这两台服务器都装的有heartbeat和ipvsadm 并通过ldirectord把VIP定义为资源，会自动流动，和自动添加ipvsadm分发条目

在ipvsadm中定义的有一台varnish服务器地址为172.16.100.11

varnish缓存服务器在做反向代理时后端是两台web服务器分别为web1和web2

IP分别为172.16.100.15和172.16.100.17 下图帮你顺下思路

四：nginx服务器+php+eAccelerator

（1）编译安装PHP 5.3.6所需的支持库：

 
 tar zxvf libiconv-1.13.1.tar.gz 
cd libiconv-1.13.1/ 
./configure --prefix=/usr/local 
make 
make install 
cd ../

 
 tar zxvf libmcrypt-2.5.8.tar.gz  
cd libmcrypt-2.5.8/ 
./configure 
make 
make install 
/sbin/ldconfig 
cd libltdl/ 
./configure --enable-ltdl-install 
make 
make install 
cd ../../

 
 tar zxvf mhash-0.9.9.9.tar.gz 
cd mhash-0.9.9.9/ 
./configure 
make 
make install 
cd ../

 
 ln -s /usr/local/lib/libmcrypt.la /usr/lib/libmcrypt.la 
ln -s /usr/local/lib/libmcrypt.so /usr/lib/libmcrypt.so 
ln -s /usr/local/lib/libmcrypt.so.4 /usr/lib/libmcrypt.so.4 
ln -s /usr/local/lib/libmcrypt.so.4.4.8 /usr/lib/libmcrypt.so.4.4.8 
ln -s /usr/local/lib/libmhash.a /usr/lib/libmhash.a 
ln -s /usr/local/lib/libmhash.la /usr/lib/libmhash.la 
ln -s /usr/local/lib/libmhash.so /usr/lib/libmhash.so 
ln -s /usr/local/lib/libmhash.so.2 /usr/lib/libmhash.so.2 
ln -s /usr/local/lib/libmhash.so.2.0.1 /usr/lib/libmhash.so.2.0.1 
ln -s /usr/local/bin/libmcrypt-config /usr/bin/libmcrypt-config

 
 tar zxvf mcrypt-2.6.8.tar.gz 
cd mcrypt-2.6.8/ 
/sbin/ldconfig 
./configure 
make 
make install 
cd ../

 
 cd php-5.3.6
./configure --prefix=/usr/local/php-fcgi --enable-fpm --with-config-file-path=/usr/local/php-fcgi/etc --enable-zend-multibyte  --with-libxml-dir=/usr/local/libxml2 --with-gd --with-jpeg-dir --with-png-dir --with-bz2 --with-freetype-dir --with-iconv-dir --with-zlib-dir --with-curl --with-mhash --with-openssl --enable-bcmath --with-mcrypt=/usr/local/libmcrypt --enable-sysvsem --enable-inline-optimization --enable-soap --enable-gd-native-ttf --enable-ftp --enable-mbstring --enable-exif --disable-debug --disable-ipv6
make
make install
cp php.ini-production /usr/local/php-fcgi/etc/php.ini
mkdir /usr/local/php-fcgi/ext

编译安装PHP5扩展模块