学习摘抄

最新推荐文章于 2024-04-25 16:05:49 发布

树橙

最新推荐文章于 2024-04-25 16:05:49 发布

阅读量215

点赞数

分类专栏：基础架构

基础架构专栏收录该内容

2 篇文章 0 订阅

订阅专栏

分布式系统设计考虑点

开源代码选取：（稳定性和性能）

1、空间换时间

1.1、多级缓存、静态化
- CDN静态内容分发网络
- 客户端界面缓存（304，界面无更新）
- 反向代理缓存（静态界面缓存在Apache，后端无需请求web）
- 应用端缓存（memcache,redis等，区别键值对用mem,持久化复杂用redis）
- 数据库、中间件（buffer、cache等）。

1.2、索引
索引主要有Hash索引，B树索引，位图索引，倒排索引等。
B树索引最常用，读大于写。

2、并行与分布式计算

2.1、MapReduce
多个节点计算完成后，到reduce节点汇总，减少了大数据的网络传输。
基于数据分解。

2.2、多线程，多进程并行执行
MPP是将任务拆分到多个机器，用多个进程或者线程进行计算的处理过程。MPP是基于任务分解的。

3、可用性（多维度）

3.1、负载均衡，备份

随着平台并发量的增大，需要扩容节点进行集群，利用负载均衡设备进行请求的分发；负载均衡设备通常在提供负载均衡的同时，也提供失效检测功能；同时为了提高可用性，需要有容灾备份，以防止节点宕机失效带来的不可用问题；备份有在线的和离线备份，可以根据失效性要求的不同，进行选择不同的备份策略。

3.2、读写分离

读写分离是对数据库来讲的，随着系统并发量的增大，提高数据访问可用性的一个重要手段就是写数据和读数据进行分离；当然在读写分离的同时，需要关注数据的一致性问题；对于一致性的问题，在分布式的系统CAP定量中，更多的关注于可用性。

3.3、依赖关系

平台中各个模块之间的关系尽量是低耦合的，可以通过相关的消息组件进行交互，能异步则异步，分清楚数据流转的主流程和副流程，主副是异步的，比如记录日志可以是异步操作的，增加整个系统的可用性。
当然在异步处理中，为了确保数据得到接收或者处理，往往需要确认机制(confirm、ack)。
但是有些场景中，虽然请求已经得到处理，但是因其他原因(比如网络不稳定)，确认消息没有返回，那么这种情况下需要进行请求的重发，对请求的处理设计因重发因素需要考虑幂等性（通过去重表等机制）。

3.4、监控

监控也是提高整个平台可用性的一个重要手段，多平台进行多个维度的监控；模块在运行时候是透明的，以达到运行期白盒化。

4、伸缩（分区容错性）

4.1、拆分（业务拆分，数据库拆分）

拆分包括对业务的拆分和对数据库的拆分。
系统的资源总是有限的，一段比较长的业务执行如果是一竿子执行的方式，在大量并发的操作下，这种阻塞的方式，无法有效的及时释放资源给其他进程执行，这样系统的吞吐量不高。
需要把业务进行逻辑的分段，采用异步非阻塞的方式，提高系统的吞吐量。
随着数据量和并发量的增加，读写分离不能满足系统并发性能的要求，需要对数据进行切分，包括对数据进行分库和分表。这种分库分表的方式，需要增加对数据的路由逻辑支持。

4.2、无状态
只有无状态，才能水平扩展。

对于系统的伸缩性而言，模块最好是无状态的，通过增加节点就可以提高整个的吞吐量。

5、优化资源利用

5.1、流量控制

系统的容量是有限的，承受的并发量也是有限的，在架构设计时，一定需要考虑流量的控制，防止因意外攻击或者瞬时并发量的冲击导致系统崩溃。在设计时增加流控的措施，可考虑对请求进行排队，超出预期的范围，可以进行告警或者丢弃。

5.2、原子操作和并发控制

对于共享资源的访问，为了防止冲突，需要进行并发的控制，同时有些交易需要有事务性来保证交易的一致性，所以在交易系统的设计时，需考虑原子操作和并发控制。
保证并发控制一些常用高性能手段有，乐观锁、Latch、mutex、写时复制、CAS等；多版本的并发控制MVCC通常是保证一致性的重要手段，这个在数据库的设计中经常会用到。

5.3、基于逻辑的不同，采取不一样的策略

平台中业务逻辑存在不同的类型，有计算复杂型的，有消耗IO型的，同时就同一种类型而言，不同的业务逻辑消耗的资源数量也是不一样的，这就需要针对不同的逻辑采取不同的策略。
针对IO型的，可以采取基于事件驱动的异步非阻塞的方式，单线程方式可以减少线程的切换引起的开销，或者在多线程的情况下采取自旋spin的方式，减少对线程的切换(比如oracle latch设计)；对于计算型的，充分利用多线程进行操作。
同一类型的调用方式，不同的业务进行合适的资源分配，设置不同的计算节点数量或者线程数量，对业务进行分流，优先执行优先级别高的业务。

5.4、容错隔离