分布式系统与数据库理论
文章平均质量分 92
分布式系统与数据库理论
~千溪杂谈(随风而逝)~
北京交通大学本科
中国科学院硕士
蚂蚁集团-高级技术专家
展开
-
全局唯一ID——Snowflake算法
全局唯一性• 唯一 ID:结合时间戳、数据中心 ID、机器 ID 和序列号,确保在分布式系统中生成的 ID 全局唯一。高并发和高性能• 本地生成:ID 在本地生成,无需网络通信,延迟极低。• 高并发:每毫秒可生成 4096 个 ID,支持高并发需求。趋势递增性• 按时间排序:ID 包含时间戳,整体上是趋势递增的,有利于数据库索引和日志排序。可扩展性• 分布式部署:支持多数据中心和多机器部署,方便系统水平扩展。简单易用,开源常见实现。原创 2024-10-11 12:08:55 · 931 阅读 · 0 评论 -
云数据库AWS Aurora(一)
首先介绍下AWS一些组件。原创 2024-04-06 08:11:07 · 1130 阅读 · 0 评论 -
关于对象存储的若干事
不同时代的硬件发展,会导致系统的架构巨大变化,比如早期的机械盘,数据库领域较多采用B+树的设计,SSD更适合LSM tree的设计,而目前硬件迭代很多,在很多新型硬件下,原来系统的设计或者假设就不存在了,比如超大内存。企业客户的一个最大需求在于,如何节约成本同时功能完善、性能齐全,传说的既要也要。一些情况不合理,但是有一些情况是可以通过新的设计来满足的,技术服务于业务需求云盘/对象存储各有优缺点,合适的搭配可以达到更好的效果,有点类似于将军指挥,士兵前线,各司其职的思想。原创 2024-01-07 15:53:46 · 1217 阅读 · 0 评论 -
从微软Cosmos DB浅谈一致性模型
从微软Cosmos DB浅谈一致性模型原创 2023-11-26 20:04:52 · 664 阅读 · 0 评论 -
分布式数据库 PolarDB-X: An Elastic Distributed Relational Database for Cloud-Native Applications
云计算正在蓬勃发展,这促使新一代数据库系统需要适应云环境。云原生数据库的发展揭示了三个趋势。第一个趋势是采用多数据中心部署,以便在任何单个站点宕机时仍能正常运行。(可用性和服务连续性要求)第二个趋势是将计算和存储资源分离,即存算分离,以实现更高的弹性和可伸缩性。最后一个趋势,是支持 HTAP,以消除异构数据库中的数据冗余和系统复杂性。为满足这些趋势,该论文设计了名为 PolarDB-X 的分布式关系型数据库,该数据库建立在云原生数据库 PolarDB 之上。原创 2023-03-26 19:17:37 · 684 阅读 · 0 评论 -
分布式文件系统-Facebook haystack
0、分布式文件系统分布式文件系统很常见,主要功能:存储文档、视频、图像等作为分布式表格系统的存储层这类系统很多,比如:国外系统:GFS-(Google File System)、haystack(Fackbook图片存储系统)国内:淘宝TFS、这些系统架构和设计很多都相似,同时也有细微之处有许多区别,最近因为需要给一个朋友讲解haystack,重读了haystack,记录做下总结一、背景Facebook在2012年发布了《Finding a needle in Haystack: Fa.原创 2022-04-04 21:41:29 · 2931 阅读 · 0 评论 -
Paxos Made Simple
简介Paxos算法是Leslie Lamport在1990提出一个基于消息通信/传递的一致性算法,用于解决在分布式环境中(存在机器宕机、网络异常等问题),如何快速且正确的在集群内部对某个数据的值达成一致。算法特点:高度容错性、且不会破坏系统的一致性等Paxos算法历史Paxos的历史很有意思:最早在1982年,Lamport在论文The byzantine generals problem,就提出了一种计算机容错理论,1990年,Lamport提出了一个解决一致性问题的方案,同时给出了数学证明。原创 2022-01-23 12:27:32 · 309 阅读 · 0 评论 -
浅谈CAP+ACID+BASE理论
1. 背景在大数据存储系统或者各类分布式系统,为了增加系统高可用性,往往会将同一数据存储多份副本。常规做法是三副本,数据复制成多份,带来了很多好处:高可用性:即使因为机器故障、宕机等原因损失一副本,仍然有其他二个副本提供服务增加读操作的并发性:比如对于三副本,常用选举算法选出leader-支持读写, 其他两个副本作为Follower可以支持读操作带来上述好处的同时,也引入了很多问题,比如:同一数据存在多个副本,在并发的众多客户端读/写请求下,如何维护数据一致性三副本如何复制数据?在网络分区异常原创 2022-03-27 22:16:51 · 2164 阅读 · 0 评论