![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库
文章平均质量分 95
李兆龙的博客
Distributed Systems & NoSQL & Linux Kernel / eBPF & Chaos Engineering
展开
-
时序数据库是Niche Market吗?
时序数据库是Niche Market吗?原创 2024-06-10 16:08:49 · 864 阅读 · 0 评论 -
从一到无穷大 #28 从S3 Storage Node的轻量级形式化方法思考交付稳定存储产品的方法论
复杂系统的质量并非一蹴而就,而是遵循客观事实逐步演进的,稳定产品的测试最佳实践唯有Early、Continuous。原创 2024-05-30 11:20:43 · 1050 阅读 · 0 评论 -
从一到无穷大 #8 Arrow,Parquet and ORC
不同介质导致的瓶颈使得数据存储格式的决策有很大的优化空间,主内存列存储和磁盘列存储之间存在根本差异。原创 2023-05-07 17:01:55 · 1021 阅读 · 0 评论 -
从一到无穷大 #5 公有云时序数据库定价
使得公有云中架构不得不改变的关键因素有三个,disaggregation,multi-tenancy,serverless。原创 2023-05-02 19:24:31 · 1289 阅读 · 3 评论 -
从一到无穷大 #4 Lossy compression
目前监控业务中绝大多数数据仍旧是浮点,且更让人关心的其实是大盘的趋势而不是精确的秒级数据,虽然Continuous Queries,预降采样可以以极低的成本满足部分查询的需求,但是源数据本身的存储也是必不可少的;分层存储已经可以使得冷数据可以降低到COS这样的低成本介质中,但是存储带宽也是一个不可忽略的因素,所以对于时序数据来说数据量本身是需要仔细斟酌的点。原创 2023-02-05 22:11:23 · 623 阅读 · 0 评论 -
Morsel-Driven Parallelism: 一种NUMA感知的并行Query Execution框架
前几天和琪宝去了一趟重庆,近一周之内没有出行计划,又逢毕设答辩延迟了几天,遂难得的有了几天空闲时间钻研下自己感兴趣的知识,便想到那个 NUMA Aware 的题目。大概花了一天时间温故了一下NUMA相关的问题,包括几篇NUMA导致毛刺的排查过程,NUMA API的使用(包括migrate_pages和mbind这两个系统调用,和numactl,numademo,numastat这几个终端工具),几种memory policy的实际意义以及可能与NUMA相关的PMU获取方式。.........原创 2022-06-03 23:16:24 · 1476 阅读 · 0 评论 -
谈谈几种Logging Schemes
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。引言再次忙里偷闲,抽出一晚上时间来记录一些文字。动笔写这篇文章纯属巧合,按照计划今天下午我本应该回趟宝鸡和家里人吃顿饭的,奈何昨天忘了做核算,今早九点便起床(对昨天晚上疯狂焦虑的我而言已经够早了)赶往最近的核酸检测点,但却被告知明早九点才出结果,只好作罢,又把回家的日子往后推了一周,这也使得今天晚上多出了一些时间(当然也可以说这是未来的时间)原创 2022-05-02 20:50:46 · 1890 阅读 · 2 评论 -
把Qos扯到排队论上去
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。引言悔恨呐,我说过很多次大学期间最遗憾的事情就是没好好学数学,以至于现在提到概率论,统筹学脑子里一片空白,就连算是好好刷过题的离散也基本不剩什么了。Qos Vulnerabilities事实上我们总会对客户做出Qos的保证,但是Kernel如此复杂,牵一发而动全身,可怜的Qos受到了除了用户态的一些限制以外的威胁。memcache是一个极原创 2022-04-14 21:43:00 · 1612 阅读 · 0 评论 -
从Redis到兼容Redis的现代云原生数据库
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。引言这篇文章起源于对[4][5]学习后的一些思考。Redis官方对于Redis的定义如下:in-memory data structure store, used as a database, cache, and message broker.事实上从商业,开源,技术的方面来说Redis是过去10年间最优秀的数据库产品之一,但是其原创 2022-03-04 20:33:08 · 1277 阅读 · 0 评论 -
微软技术探究之FASTER
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。引言微软在2018 SIGMOD Transactions and Indexing Session 中发表了一篇名为《FASTER: A Concurrent Key-Value Store with In-Place Updates》的paper,文章提出了一种在更新密集,访问模式多表现出时间局部性,允许工作集大于内存,访问操作多为点读,原创 2022-03-03 21:13:34 · 1492 阅读 · 2 评论 -
Don‘t Put a Cache in Front of Database
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。文章目录引言为什么需要缓存原因DynamoDB Accelerator(DAX)总结引言这篇文章是看到西雅图大佬推的一篇文章以后产生的一些想法。paper本身很有意思,即为什么不建议把 Cache 放置在Database前面,这其实是一个与我个人传统认知相悖的一个题目,事实上在我还不知道数据库到底是什么东西的时候就听过做JavaWeb的同学原创 2022-01-09 21:27:25 · 793 阅读 · 0 评论 -
从历史见证未来,Distributed SQL?云原生数据库? 多模型数据库?
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。回顾历史自1970年 Codd 祖师爷提出关系模型开始,关系型数据库在五十多年的时间中蓬勃发展。早期互联网的流量并不想我们现在所处的年代,QPS的需求往往百级别就绰绰有余,但是2000年左右互联网应用如雨后春笋,一时间庞大的资源要求远超传统的软件服务,在这种日益增长的极端需求下,对并发性能,可用性的需求变得极为迫切。传统数据库注重于实现强A原创 2022-01-08 21:31:34 · 1195 阅读 · 0 评论 -
从LevelDB SnapShot到内存快照的思考
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。文章目录引言LevelDB SnapShotMVCC的启发可回滚数据结构COW与ROWCgroup总结引言SnapShot技术在数据库领域的重要性不言而喻,这种记录整个数据库某一时间点全部视图并快速恢复的能力非常重要,这相当于是一颗后悔药。存储网络行业协会SNIA(StorageNetworking Industry Association原创 2021-11-14 16:23:45 · 1800 阅读 · 3 评论 -
对于LSM Tree写放大问题的一些浅薄学习
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。文章目录引言性能评估优化方案总结引言写放大(Write amplification)原本指的是在SSD上的一种介质本身的现象,即实际写入介质的数据量大于请求本身的数据量[1],由英特尔和SiliconSystems第一次提出[7][8],后来这个名词的含义逐渐宽泛了起来,即描述的是这种行为而不是特定的介质上的一种行为。早在大三的时候就写过一原创 2021-11-13 22:23:49 · 1899 阅读 · 0 评论 -
LevelDB中的Compaction流程
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。文章目录引言Compactionminor compactionmajor compactionMaybeScheduleCompactionBackgroundCompactionPickCompactionSetupOtherInputsMakeInputIteratorDoCompactionWorkInstallCompactionRe原创 2021-11-12 20:36:55 · 1341 阅读 · 0 评论