百万级并发mysql架构

1 服务器环境

  

1.1 操作系统要求

  

操作系统环境

  

建议Centos 7.x 64位

  

1.2 系统环境要求

  

mysql-5.1.52（glibc23）(以上)

  

apache2.2.0(以上)

  

Amoeba for Mysql 1.3.1-BETA(以上)

  

memcached-1.4.5(以上)

  

Keepalived-1.1.20(以上)

  

Lvs-1.2.1(以上)

  

2 服务器架构

  

下图展示了***.com的结构：

  

我们的架构包括：Web服务器 中间件服务器 Db服务器 缓存服务器 文件服务器 监控服务器 备份服务器 测试服务器

  

  
  

  

2.1 Web服务器

  

Web 服务器主要分为 前端负载均衡服务器和后端realserver服务器。

  

2.1.1 负载均衡服务器

  

负载均衡服务器有两种方案：Lvs+Keepalived和Haproxy+Keepalived。

  

Haproxy提供高可用性、负载均衡 以及基于TCP和HTTP应用的代理软件，配置简单，管理方便，有web管理界面，较Lvs来说性能一般。

  

Keepalived提供故障转移功能，保证前段web无故障运行。此配置需要两台服务器。

  

Lvs集群采用IP负载均衡技术和基于内容请求分发技术， 性能好，接近硬件设备的网络吞吐和连接负载能力。管理不是太方便，配置相对复杂。Keepalived提供故障转移功能，保证前段web无故障运行。此配置需要两台服务器。

  

建议前期使用Lvs+Keepalived的配置作为前端负载服务器，采用dr模式，性能很好。以后可按需将部分应用切成Haproxy，由于基本不需更改后端web服务器，所以切换非常容易。

  

2.1.2 Realserver 服务器

  

后端realserver 可以选用Apache或者Nginx。

  

利用前端Lvs或者Haproxy将请求转到Apache上，处理Php等动态文件，作为主web服务器。相同功能下的各台web服务器之间通过Rsync进行程序代码同步。采用Lvs或者Haproxy架构，扩展性很好，前期2-4台web服务器，以后按照负载情况可随时上新服务器。

  

处理静态文件时可以采用Nginx。相同功能下的各台web服务器之间通过Rsync进行程序代码同步。

  

2.2 Db服务器

  

Db 服务器分为数据库中间件和Mysql 数据库。

  

2.2.1 中间件服务器

  

中间件采用开源软件Amoeba，实现分布式数据库数据切分，降低客户端与db的连接数，负载均衡。可以按照需求实现主从读写分离，数据库垂直  水平切分。初期一台中间件即可，以后随着负载的提高，增加多台中间件，在多台中轮询，保证中间件的高可用和高性能。

  

2.2.2 Mysql服务器

  

Db采用Mysql，在通常情况下,数据查询请求可以快速处理,数据库每秒种可以处理几百次查询;但是某些情况下查询会变慢或者阻塞。由于一些数据表频繁被写入,而且频繁读取,因此一旦有两三个写操作导致数据表锁死超过3秒钟,上千条读指令就被阻塞，读写阻塞是导致数据连接过多的最主要原因。

  

因此大规模应用主从方式，按需实现两主多从方式。

  

第一个主数据库主要负责写操作，第二个主数据库作为线上热备，当第一台主数据库出问题及时切换成第二台，如果从数据库压力过大，主数据库也可加入读操作。

  

多台从数据库负责读操作，并专门拿出一台作为线下备份数据库，每日凌晨2-3点进行数据库备份，保证数据安全。

  

随着数据量的增加，数据库会遇到瓶颈，主库的写压力会越来越大。在主从的基础上按需进行数据库拆分，也就是将数据存放到不同的数据库服务器中，一般可以按两个纬度来拆分数据：

  

垂直拆分：是指按功能模块拆分，比如可以将用户相关表和图片相关表存放在不同的数据库中，这种方式多个数据库之间的表结构不同。

  

水平拆分：而水平拆分是将同一个表的数据进行分块保存到不同的数据库中，这些数据库中的表结构完全相同。

  

2.3 缓存服务器

  

采用Memcached作为缓存，如何分担减少数据库的压力是整个架构的重中之重，通过Memcached在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。并且监管每日的数据清理和定时优化，每天凌晨2-3点利用Cron进行定时清理和优化。

  

2.4 文件服务器

  

前期考虑用nfs来做文件系统，web服务器直接挂载nfs分区，后期遇到性能瓶颈的时候可以考虑使用分布式文件系统。MogileFS是分布式文件存储系统，可支持文件自动备份的功能，提供高可用性和高可扩展性。

  

2.5 监控服务器

  

监控报警系统使用cacti nagios ganglia三个强大的开源软件搭建。

  

  Cacti 历史数据功能很强大，可监控主机状态 主机网络流量 mysql状态 memcached状态 web服务器连接数状态等等，可以帮助我们最快的发现出问题的时间和地方。

  

  Ganglia 监控服务器即时状态，ganglia对于当前状态的收集最准确及时。可以实时了解服务器流量  load。

  

  Nagios 监控指定主机和服务，比如apache mysql ftp smtp dns等等，监控服务器硬件状态，比如raid状态 cpu温度磁盘剩余容量等等，当监控项目出现问题，以报警方式通知。

  

2.6 备份服务器

  

数据库备份：每日凌晨2-3点，在线下从库上执行备份，然后通过scp 的方式拷贝到备份服务器上。

  

程序代码备份：每日凌晨2-3点，Rsync 同步到备份服务器上。

  

网站数据备份：每日凌晨2-3点，Rsync 同步到备份服务器上。

  

3 服务器安全

  

3.1 登陆安全

  

登陆分为公司内登陆 公司外登陆

  

公司内登陆：采用公钥+私钥的方式登陆服务器，屏蔽密码登陆。

  

公司以外的地方不能直接连接服务器，需先拨公司vpn，然后采用公钥+私钥的方式登陆服务器，屏蔽密码登陆。

  

3.2 账号管理及权限

  

软件安装中添加的用户，都设置为:/sbin/nologin，不能登陆系统。其他登陆账号均为一般权限用户，只能使用sudo方式运行命令，如果需要更多命令，申请后添加。

  

4 部署新服务器

  

部署新服务器按照不同的分类，做不同的部署，不过总的步骤一般如下：

  

拷贝相应软件和安装脚本

  

执行安装脚本

  

重启后检查各功能是否正常

  

根据不同用处做单独设置

  

再次重启，安装完毕，上线