《大规模分布式存储系统:原理解析与架构实战》读书笔记

《大规模分布式存储系统:原理解析与架构实战》读书笔记

1、事务满足ACID特性

2、单机存储引擎:哈希存储引擎和B树存储引擎和LSM存储引擎。存储系统的数据模型:文件模型、关系模型和键值模型。

3、分布式系统:数据分布、复制、一致性、容错。

数据分布的方式:哈希分布和顺序分布。将数据 分散到多台机器之后,需要保证多台机器之间的负载均衡。衡量负载涉及的因素有很多,如cpu,内存。负载均衡需要执行数据迁移操作。
分布式存储系统通过复制协议将数据同步到多个存储节点,并确保多个副本之间的数据一致性。复制协议分为强同步复制以及异步复制。分布式存储系统中的数据保存多个副本,其中一个为主副本,其它为备副本,常见的做法是将数据写入到主副本,由主副本确定操作的顺序并复制到其他副本。强同步协议提供强一致性,但是可用性差。异步复制可用性较好,但是一致性较差。主副本之间的复制一般通过操作日志来实现。除基于主副本之间的复制协议,还由基于多个存储节点的复制协议。
一致性:强一致性、弱一致性、最终一致性。
首先分布式系统,故障检测通过租约协议实现。接着,需要能够将服务复制或者迁移到集群中的其它正常服务的存储节点。

4、CAP理论:一致性、可用性和分区可容忍性三者不能同时得到。

5、两阶段提交协议和Paxos协议。两阶段提交协议包括请求阶段和提交阶段,是阻塞协议。Paxos协议过程:准备阶段、批准阶段和确认阶段。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大规模分布式存储系统原理解析架构实战》是分布式系统领域的经典著作,由阿里巴巴高级技术专家“阿里日照”(OceanBase核心开发人员)撰写,阳振坤、章文嵩、杨卫华、汪源、余锋(褚霸)、赖春波等来自阿里、新浪、网易和百度的资深技术专家联袂推荐。理论方面,不仅讲解了大规模分布式存储系统的核心技术和基本原理,而且对谷歌、亚马逊、微软和阿里巴巴等国际型大互联网公司的大规模分布式存储系统进行了分析;实战方面,首先通过对阿里巴巴的分布式数据库OceanBase的实现细节的深入剖析完整地展示了大规模分布式存储系统架构与设计过程,然后讲解了大规模分布式存储技术在云计算和大数据领域的实践与应用。本书内容分为四个部分:基础篇――分布式存储系统的基础知识,包含单机存储系统的知识,如数据模型、事务与并发控制、故障恢复、存储引擎、压缩/解压缩等;分布式系统的数据分布、复制、一致性、容错、可扩展性等。范型篇――介绍谷歌、亚马逊、微软、阿里巴巴等著名互联网公司的大规模分布式存储系统架构,涉及分布式文件系统、分布式键值系统、分布式表格系统以及分布式数据库技术等。实践篇――以阿里巴巴的分布式数据库OceanBase为例,详细介绍分布式数据库内部实现,以及实践过程中的经验。专题篇――介绍分布式系统的主要应用:云存储和大数据,这些是近年来的热门领域,本书介绍了云存储平台、技术与安全,以及大数据的概念、流式计算、实时分析等。
天猫是中国最大的电商平台之一,其背后支撑的是一套高并发、分布式的架构设计。在天猫的架构设计中,Java作为主要的开发语言之一,扮演了重要的角色。 首先,天猫的架构设计采用了分布式的思想。在天猫的系统中,不同的功能模块被拆分为独立的服务,每个服务都运行在不同的服务器上,实现了内容的分布与并发处理。这种架构设计可以实现高可用性和横向扩展的特性,使得系统在面对亿级高并发时能够保持稳定。 其次,天猫的架构设计注重性能优化。在天猫的系统中,通过使用缓存技术和负载均衡技术,优化了系统的响应时间和吞吐量。同时,利用集群和分布式数据库等技术,实现了数据的高可靠性和快速读写。通过这些手段,天猫在高并发情况下能够有效地提供服务,保证用户的购物体验。 另外,天猫的架构设计还考虑了安全性和可扩展性。在安全方面,天猫采用了多层次的安全机制,包括数据加密、防火墙等,确保用户的信息和交易数据的安全。在可扩展性方面,天猫的系统可以随着用户数量的增加进行水平扩展,通过增加服务器数量和服务节点,提高系统的并发处理能力。 总的来说,天猫的架构设计在Java的支持下,通过分布式、性能优化、安全性和可扩展性等方面的设计,实现了对亿级高并发的支持。这个设计可以为电商行业提供参考,帮助其他电商平台构建具有高并发能力的系统

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值