Java互联网架构-如何构建高并发高可用电商充值平台架构演变过程

概述

高可用的架构

目前，通常企业级应用系统(特别是政府部门和大企业的应用系统)一般会采用安规的软硬件设备，如IOE(IBM的小型机、Oracle数据、EMC存储设备)系列。而一般互联网公司更多地采用PC级服务器(x86)，开源的数据库(MySQL)和操作系统(Linux)组建廉价且高容错(硬件故障是常态)的应用集群。

(1)设计的目的？

保证服务器硬件故障服务依然可用，数据依然保存并能够被访问。

(2)主要的手段？

数据和服务的①冗余备份以及②失效转移：

对于服务而言，一旦某个服务器宕机，就将服务切换到其他可用的服务器上；

对于数据而言，如果某个磁盘损坏，就从备份的磁盘(事先就做好了数据的同步复制)读取数据。

一、 设计理念

1. 空间换时间

1) 多级缓存，静态化

客户端页面缓存(http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag)

反向代理缓存

应用端的缓存(memcache)

内存数据库

Buffer、cache机制(数据库，中间件等)

2) 索引

哈希、B树、倒排、bitmap

哈希索引适合综合数组的寻址和链表的插入特性，可以实现数据的快速存取。

B树索引适合于查询为主导的场景，避免多次的IO，提高查询的效率。

倒排索引实现单词到文档映射关系的最佳实现方式和最有效的索引结构，广泛用在搜索领域。

Bitmap是一种非常简洁快速的数据结构，他能同时使存储空间和速度最优化(而不必空间换时间)，适合于海量数据的的计算场景。

2. 并行与分布式计算

1) 任务切分、分而治之(MR)

在大规模的数据中，数据存在一定的局部性的特征，利用局部性的原理将海量数据计算的问题分而治之。

MR模型是无共享的架构，数据集分布至各个节点。处理时，每个节点就近读取本地存储的数据处理(map)，将处理后的数据进行合并(combine)、排序(shuffle and sort)后再分发(至reduce节点)，避免了大量数据的传输，提高了处理效率。

2) 多进程、多线程并行执行(MPP)

并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器/进程/线程来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。

和MR的区别在于，它是基于问题分解的，而不是基于数据分解。

3. 多维度的可用

1) 负载均衡、容灾、备份

随着平台并发量的增大，需要扩容节点进行集群，利用负载均衡设备进行请求的分发；负载均衡设备通常在提供负载均衡的同时，也提供失效检测功能；同时为了提高可用性，需要有容灾备份，以防止节点宕机失效带来的不可用问题；备份有在线的和离线备份，可以根据失效性要求的不同，进行选择不同的备份策略。

2) 读写分离

读写分离是对数据库来讲的，随着系统并发量的增大，提高数据访问可用性的一个重要手段就是写数据和读数据进行分离；当然在读写分离的同时，需要关注数据的一致性问题；对于一致性的问题，在分布式的系统CAP定量中，更多的关注于可用性。

3) 依赖关系

平台中各个模块之间的关系尽量是低耦合的，可以通过相关的消息组件进行交互，能异步则异步，分清楚数据流转的主流程和副流程，主副是异步的，比如记录日志可以是异步操作的，增加整个系统的可用性。

当然在异步处理中，为了确保数据得到接收或者处理，往往需要确认机制(confirm、ack)。

但是有些场景中，虽然请求已经得到处理，但是因其他原因(比如网络不稳定)，确认消息没有返回，那么这种情况下需要进行请求的重发，对请求的处理设计因重发因素需要考虑幂等性。

4) 监控

监控也是提高整个平台可用性的一个重要手段，多平台进行多个维度的监控；模块在运行时候是透明的，以达到运行期白盒化。

4. 伸缩

1) 拆分