- 博客(12)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 DDIA 读书分享 第五章：Replication，多主模型
由于只有用户知道数据本身的信息，因此较好的方式是，将如何解决冲突交给用户。即，允许用户编写回调代码，提供冲突解决逻辑。写时执行。在写入时发现冲突，调用回调代码，解决冲突后写入。这些代码通常在后台执行，并且不能阻塞，因此不能在调用时同步的通知用户。但打个日志之类的还是可以的。读时执行。在写入冲突时，所有冲突都会被保留（如使用多版本）。下次读取时，系统会将所有数据本版本返回给用户，进行交互式的或者自动的解决冲突，并将结果写回系统。上述冲突解决只限于单个记录、行、文档层面。TODO（自动冲突解决）
2022-10-20 01:31:12
268
1
原创 DDIA 读书分享 第五章：Replication，复制滞后问题
DDIA 读书分享会，会逐章进行分享，结合我在工业界分布式存储和数据库的一些经验，补充一些细节。每两周左右分享一次，欢迎加入，网站在这里[1]。我们有个对应的分布式&数据库讨论群，每次分享前会在群里通知。如想加入，可以加我的微信号：qtmuniao，简单自我介绍下，并注明：分布式系统群。
2022-10-17 23:16:14
303
原创 好好写代码之素养篇——抽象和讲究
知乎上有个问题，如何辨别一个程序员水平的高低？就这几年 Review 代码的体感，忍不住就工程素养这个话题吐两句槽，正好作为“好好写代码”系列的第二篇。
2022-10-12 23:08:39
313
原创 DynamoDB 的云原生之路 —— 流控策略的演进
云上一个重要特征就是资源池化、按需分配和精准计费，从而在整体上实现资源的充分利用，通过规模化优势抵消通用性带来的成本。具体到云原生数据库中，便是多租户流量的自动配给。DynamoDB 通过论文披露了其从配额静态划分、打补丁演进，到全局动态划分的一个演进过程。
2022-09-24 23:15:58
175
原创 RocksDB 优化小解（一）：Indexing SST
Google LevelDB 是一个 LSM-Tree 的实现典范。但在开源出来后，为了保持轻量、简洁的风格，除了修修 Bug 之外，一直没有做太大的更新迭代。为了让其能够满足工业环境中， Facebook（Meta） 在 Fork 了 LevelDB 之后，做了多方面的优化。硬件方面，可以更有效地利用现代硬件，如闪存和快速磁盘、多核 CPU等；软件方面，针对读写路径、Compaction 也做了大量优化，如 SST 索引、索引分片、前缀 Bloom Filter、列族等。
2022-08-21 11:33:55
336
原创 用通俗的语言解释下：Spark 中的 RDD 是什么
RDD，学名可伸缩的分布式数据集（Resilient Distributed Dataset）。初次听闻，感觉很高深莫测。待理解其本质，却发现异常简洁优雅。本文试图对其进行一个快速侧写，试图将这种大数据处理中化繁为简的美感呈现给你。...
2022-08-08 14:56:36
937
原创 系统日报-20220507（Meta 链式复制的对象存储——Delta）
《系统日报》持续关注分布式系统、AI System，数据库、存储、大数据等相关领域文章。每天以摘要的形式精选不超过三篇系统文章分享给大家。如果你有好文章推荐，或者有其他任何想法，欢迎在 Articles Weekly Repo[1]提 issue。来源：https://engineering.fb.com/2022/05/04/data-infrastructure/delta/导读：偶然看到群里同学分享的 Meta 技术博客[2]新公开的高可用、强一致、链式复制的对象存储。由于我也做过一段时间的对象存储，
2022-05-07 22:02:46
149
原创 数据库存储层都涉及到哪些工作？
做数据库有一段时间了。最近有一些在校的同学问到，在实际中，分布式数据库中存储层工作内容是什么样的？简单回答了下，想到其他人可能也有类似问题，于是来这里总结下、抛个砖头。经验所限，难免有误，欢迎交流。注：限定下讨论范围，分布式数据库，存储计算分离，share-noting 架构，仅讨论存储层。存储层涉及的东西很庞杂，想说清楚，需要有一个合适的切入角度。数据库最本质的功能，是存储数据，以对外提供数据的查询和写入接口。不妨，就首先以这两条线串一下各个模块，然后再补充下不能归到这两条线中的一些组件。作者：木鸟杂记
2022-05-04 19:46:53
2362
原创 DDIA 读书分享 第二章：数据模型和查询语言
概要本节围绕两个主要概念来展开。如何分析一个数据模型：基本考察点：数据基本元素，和元素之间的对应关系（一对多，多对多）利用几种常用模型来比较：（最为流行的）关系模型，（树状的）文档模型，（极大自由度的）图模型。schema 模式：强 Schema（写时约束）；弱 Schema（读时解析）如何考量查询语言：如何与数据模型关联、匹配声明式（declarative）和命令式（imperative）
2022-04-29 01:06:49
1240
原创 DDIA 读书分享 第一章 文字稿
第一章是很容易被跳过的一章，因为概念较多，容易泛泛而谈。但其给出的三个概念，确实是构建系统避不开的三个重点方向。ps. 开源中文版本[1]有些地方翻译的不是很地道，读起来可能会有些难受，不过这是所有翻译难免的。 木鸟杂记 分
2022-04-26 22:28:11
295
原创 再次推荐下这本书 —— DDIA
早就在知乎上听人推荐过 DDIA（设计数据密集型应用），之前偶尔翻过第二部分 Replication 和 Partition 两章，感觉讲的还不错，但对于做分布式存储和数据库人员来说，稍微有点泛泛而谈。初次见面，只觉其好而不神。今年（2022）建了一个分布式系统和数据库爱好者的微信群，如果不组织大家做点什么，微信群迟早沦为僵尸群，“好”一点的可能变成吹水群，但这显然不是我的初衷。念念不忘，必有回响，心里又掠过了这本书，更兼在北美华人群里见过本书被分享过，还挺受欢迎。一拍大腿，就是他了：组织大家一块过一遍 D
2022-04-25 23:31:25
2313
原创 系统日报-20220421（Databricks 缘何成功？）
《系统日报》持续关注分布式系统、AI System，数据库、存储、大数据等相关领域文章。每天以摘要的形式精选不超过三篇系统文章分享给大家。如果你有好文章推荐，或者有其他任何想法，欢迎在 Articles Weekly Repo[1]提 issue。 木鸟杂记
2022-04-25 23:11:35
1934
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人