服务器通用架构

1 服务器环境

  

1.1 操作系统要求

  

操作系统环境

  

Centos 5.5 64位

  

1.2 系统环境要求

  

mysql-5.1.52（glibc23）

  

apache2.2.0

  

Amoeba for Mysql 1.3.1-BETA

  

memcached-1.4.5

  

Keepalived-1.1.20

  

Lvs-1.2.1

  

2 服务器架构

  

下图展示了***.com的结构：

  

我们的架构包括：Web服务器 中间件服务器 Db服务器 缓存服务器 文件服务器 监控服务器 备份服务器 测试服务器

  

  
  

  

2.1 Web服务器

  

Web 服务器主要分为 前端负载均衡服务器和后端realserver服务器。

  

2.1.1 负载均衡服务器

  

负载均衡服务器有两种方案：Lvs+Keepalived和Haproxy+Keepalived。

  

Haproxy提供高可用性、负载均衡 以及基于TCP和HTTP应用的代理软件，配置简单，管理方便，有web管理界面，较Lvs来说性能一般。

  

Keepalived提供故障转移功能，保证前段web无故障运行。此配置需要两台服务器。

  

Lvs集群采用IP负载均衡技术和基于内容请求分发技术， 性能好，接近硬件设备的网络吞吐和连接负载能力。管理不是太方便，配置相对复杂。Keepalived提供故障转移功能，保证前段web无故障运行。此配置需要两台服务器。

  

建议前期使用Lvs+Keepalived的配置作为前端负载服务器，采用dr模式，性能很好。以后可按需将部分应用切成Haproxy，由于基本不需更改后端web服务器，所以切换非常容易。

  

2.1.2 Realserver 服务器

  

后端realserver 可以选用Apache或者Nginx。

  

利用前端Lvs或者Haproxy将请求转到Apache上，处理Php等动态文件，作为主web服务器。相同功能下的各台web服务器之间通过Rsync进行程序代码同步。采用Lvs或者Haproxy架构，扩展性很好，前期2-4台web服务器，以后按照负载情况可随时上新服务器。

  

处理静态文件时可以采用Nginx。相同功能下的各台web服务器之间通过Rsync进行程序代码同步。

  

2.2 Db服务器

  

Db 服务器分为数据库中间件和Mysql 数据库。

  

2.2.1 中间件服务器

  

中间件采用开源软件Amoeba，实现分布式数据库数据切分，降低客户端与db的连接数，负载均衡。可以按照需求实现主从读写分离，数据库垂直  水平切分。初期一台中间件即可，以后随着负载的提高，增加多台中间件，在多台中轮询，保证中间件的高可用和高性能。

  

2.2.2 Mysql服务器

  

Db采用Mysql，在通常情况下,数据查询请求可以快速处理,数据库每秒种可以处理几百次查询;但是某些情况下查询会变慢或者阻塞。由于一些数据表频繁被写入,而且频繁读取,因此一旦有两三个写操作导致数据表锁死超过3秒钟,上千条读指令就被阻塞，读写阻塞是导致数据连接过多的最主要原因。

  

因此大规模应用主从方式，按需实现两主多从方式。

  

第一个主数据库主要负责写操作，第二个主数据库作为线上热备，当第一台主数据库出问题及时切换成第二台，如果从数据库压力过大，主数据库也可加入读操作。

  

多台从数据库负责读操作，并专门拿出一台作为线下备份数据库，每日凌晨2-3点进行数据库备份，保证数据安全。

  

随着数据量的增加，数据库会遇到瓶颈，主库的写压力会越来越大。在主从的基础上按需进行数据库拆分，也就是将数据存放到不同的数据库服务器中，一般可以按两个纬度来拆分数据：

  

垂直拆分：是指按功能模块拆分，比如可以将用户相关表和图片相关表存放在不同的数据库中，这种方式多个数据库之间的表结构不同。

  

水平拆分：而水平拆分是将同一个表的数据进行分块保存到不同的数据库中，这些数据库中的表结构完全相同。

  

2.3 缓存服务器

  

采用Memcached作为缓存，如何分担减少数据库的压力是整个架构的重中之重，通过Memcached在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。并且监管每日的数据清理和定时优化，每天凌晨2-3点利用Cron进行定时清理和优化。

  

2.4 文件服务器

  

前期考虑用nfs来做文件系统，web服务器直接挂载nfs分区，后期遇到性能瓶颈的时候可以考虑使用分布式文件系统。MogileFS是分布式文件存储系统，可支持文件自动备份的功能，提供高可用性和高可扩展性。

  

2.5 监控服务器

  

监控报警系统使用cacti nagios ganglia三个强大的开源软件搭建。

  

  Cacti 历史数据功能很强大，可监控主机状态 主机网络流量 mysql状态 memcached状态 web服务器连接数状态等等，可以帮助我们最快的发现出问题的时间和地方。

  

  Ganglia 监控服务器即时状态，ganglia对于当前状态的收集最准确及时。可以实时了解服务器流量  load。

  

  Nagios 监控指定主机和服务，比如apache mysql ftp smtp dns等等，监控服务器硬件状态，比如raid状态cpu温度磁盘剩余容量等等，当监控项目出现问题，以报警方式通知。

  

2.6 备份服务器

  

数据库备份：每日凌晨2-3点，在线下从库上执行备份，然后通过scp 的方式拷贝到备份服务器上。

  

程序代码备份：每日凌晨2-3点，Rsync 同步到备份服务器上。

  

网站数据备份：每日凌晨2-3点，Rsync 同步到备份服务器上。

  

3 服务器安全

  

3.1 登陆安全

  

登陆分为公司内登陆 公司外登陆

  

公司内登陆：采用公钥+私钥的方式登陆服务器，屏蔽密码登陆。

  

公司以外的地方不能直接连接服务器，需先拨公司vpn，然后采用公钥+私钥的方式登陆服务器，屏蔽密码登陆。

  

3.2 账号管理及权限

  

软件安装中添加的用户，都设置为:/sbin/nologin，不能登陆系统。其他登陆账号均为一般权限用户，只能使用sudo方式运行命令，如果需要更多命令，申请后添加。

  

4 部署新服务器

  

部署新服务器按照不同的分类，做不同的部署，不过总的步骤一般如下：

  

拷贝相应软件和安装脚本

  

执行安装脚本

  

重启后检查各功能是否正常

  

根据不同用处做单独设置

  

再次重启，安装完毕，上线

如果当您网站达到100万级以上的并发的时候，您就会考虑这样的架构了，在这里有朋友说这个架构好复杂。 下面我就给大家分享我对一个网站的架构和理解： 1>全局负载:解决南北访问速度慢问题，可以使用CDN    双线链路再用DNS进行轮询。 2>代理层:用来转发用户的请求到缓存层或应用层，可以使用nginx+keepalived   lvs+haporxy，目的减少缓存层和应用层服务器的压力。 3>缓存层:加速网站访问速度，减少应用层服务器压力，可以使用varnish suqid 4>应用层:也就是的web服务器，如果你的网站有大量的图片或视频数据，请不将些数据放在web服务器，一定要找一台或一组服务器进行图片或视频数据的存储，目的也减少web服务器的压力。 5>数据库层:数据库的读写分离，怎样减少数据查询次数来达到减少数据库服务器的压力，这个时候我们应当考虑使用数据缓存，数据缓存可以使用memcache； 6>资源层:这里我所说的资源主要用来存放网站的图片、视频等数据，我们可以采用MFS开源的分布式集群系统； 7>数据挖掘层:主要是对站点日志进行分析，然后进行数据展现，可以采用hadoop+hive； 8>资源管理层:主要包括硬件和软件管理，这里主要针对软件来说明，怎样做到开发人员在自己的电脑提交好开发的代码，而线上的服务器能自己的进行更新。 9>监控层:主要对服务器性能和一些重要的应用进行监控，可以使用nagios cacit等等 注释：代理层、缓存层、应用层、数据库层最好使用用两台或者两台以上的服务器做群集来避免单点问题，一个好的架构方案最好不要出现单点问题。 以上这9点是我对架构一个理解我认识希望能帮到朋友们。 下面这个架构图给大家分享一下，目前配置阶段

QQ截图20130422005215.jpg (109.64 KB, 下载次数: 0)