一次设计高可用网站的实战经验

我公司前段时间做了一个活动，花了5000块购买了5台虚拟机(每台cpu 为单核2GHZ，内存为1.5GB)做了一个两个月大活动,我设计支持高并发的系统如下：
活动的特点是高并发，逻辑不是很复杂，因此我采用DNS做负载均衡器+nginx做前端+php开发+redis数据库的分布式结构。
使用DNS负载均衡的原因是，我没有更多的钱买负载均衡，其次负载均衡至少得双机主备，再次DNS负载均衡不用部署配置，比lvs简单多了。
为了解决跨域的session问题，我使用了一个redis数据库来存储session的id，这样我的php程序得改成不读取本地session,而去读取redis中的session数据。可以实现跨域的session,不用担心分布式带来的session问题。
同时redis可以用作存储用户数据，例如微博id,生成图片路径等等信息，并发性要比mysql高得多。
为了解决redis单点故障，我添加了一个从redis数据库实时和主redis数据库进行同步，若是主数据库挂了，可以用从数据库来顶替

 

 

 

但是这个网站每台机器上都会生成各自的图片，而这些图片需要在网站上显示，这样的话存在一个问题：
某个用户是通过DNS只能请求到一台机器上（VM3）上，那么在网站上出现的VM2，VM4,VM5的图片就无法显示了。
我冥思苦想，想到了一个好办法:就是利用nginx的proxy模块来实现：
1）VM2上由程序生成的每一张的图片都存在目录（10.200.225.158--VM2的内网ip）下，VM3上由程序生成的每一张的图片都存在目录（10.200.226.56）下...
2) 这样VM2下的图片路径就是http://www.a.com/10.200.225.158/xxx.jpg,VM3下的图片就是http://www.a.com/10.200.226.56/xxx.jpg
3)我VM2上的nginx上配置使得：
    3.1)当用户被DNS解析到VM2上时，若URL是http://www.a.com/10.200.225.158/xxx.jpg时就直接读取本地图片
    3.2)当用户被DNS解析到VM2上时，若URL是http://www.a.com/10.200.226.56/xxx.jpg时就通过VM2代理读取远程的VM3上的图片
    3.3)当用户被DNS解析到VM2上时，若URL是http://www.a.com/10.200.55.39/xxx.jpg时就通过VM2代理读取远程的VM4上的图片
    3.4)当用户被DNS解析到VM2上时，若URL是http://www.a.com/110.200.51.143/xxx.jpg时就通过VM2代理读取远程的VM5上的图

 

 

 

 

也就是说当www.a.com解析到vm2,若是要显示vm3上生成的图片的话，得通过vm2的代理去获取，由于我设置的代理的ip都是内网的，因此不占用外网ip的网络资源，不影响用户的访问速度。  


vm2的nginx配置文件如下

 

1. location /10.200.226.56 {  
2.              root    /opt/tmp/;  
3.              proxy_redirect off ;  
4.              proxy_set_header Host $host;  
5.              proxy_set_header X-Real-IP $remote_addr;  
6.              proxy_set_header REMOTE-HOST $remote_addr;  
7.              proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
8.              client_max_body_size 50m;  
9.              client_body_buffer_size 256k;  
10.              proxy_connect_timeout 30;  
11.              proxy_send_timeout 30;  
12.              proxy_read_timeout 60;  
13.              proxy_buffer_size 256k;  
14.              proxy_buffers 4 256k;  
15.              proxy_busy_buffers_size 256k;  
16.              proxy_temp_file_write_size 256k;  
17.              proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;  
18.              proxy_max_temp_file_size 128m;  
19.              proxy_pass    http://10.200.226.56:80;  
20.                
21. }  
22.  
23. location /10.200.55.39 {  
24.              root    /opt/tmp/;  
25.              proxy_redirect off ;  
26.              proxy_set_header Host $host;  
27.              proxy_set_header X-Real-IP $remote_addr;  
28.              proxy_set_header REMOTE-HOST $remote_addr;  
29.              proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
30.              client_max_body_size 50m;  
31.              client_body_buffer_size 256k;  
32.              proxy_connect_timeout 30;  
33.              proxy_send_timeout 30;  
34.              proxy_read_timeout 60;  
35.              proxy_buffer_size 256k;  
36.              proxy_buffers 4 256k;  
37.              proxy_busy_buffers_size 256k;  
38.              proxy_temp_file_write_size 256k;  
39.              proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;  
40.              proxy_max_temp_file_size 128m;  
41.              proxy_pass    http://10.200.55.39:80;  
42.                
43. }  
44. location /10.200.51.143 {  
45.              root    /opt/tmp/;  
46.              proxy_redirect off ;  
47.              proxy_set_header Host $host;  
48.              proxy_set_header X-Real-IP $remote_addr;  
49.              proxy_set_header REMOTE-HOST $remote_addr;  
50.              proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
51.              client_max_body_size 50m;  
52.              client_body_buffer_size 256k;  
53.              proxy_connect_timeout 30;  
54.              proxy_send_timeout 30;  
55.              proxy_read_timeout 60;  
56.              proxy_buffer_size 256k;  
57.              proxy_buffers 4 256k;  
58.              proxy_busy_buffers_size 256k;  
59.              proxy_temp_file_write_size 256k;  
60.              proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;  
61.              proxy_max_temp_file_size 128m;  
62.              proxy_pass    http://10.200.51.143:80;  
63.                
64. }  
65.  
66. location ~ \.php$ {  
67.            fastcgi_pass   127.0.0.1:9000;  
68.            fastcgi_index  index.php;  
69.            fastcgi_param  SCRIPT_FILENAME  $document_root/$fastcgi_script_name;  
70.            include        fastcgi_params;  
71. }