![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
从一到无穷大
文章平均质量分 95
李兆龙的博客
Distributed Systems & NoSQL & Linux Kernel / eBPF & Chaos Engineering
展开
-
从一到无穷大 #32 TimeCloth,云上的快速 Point-in-Time Recovery
在不同的数据模型下PITR拥有不同的目标,在这个基础上有不同的预期,从而诞生不同的解决方案。原创 2024-08-03 15:28:21 · 723 阅读 · 0 评论 -
从一到无穷大 #31 Stand on the shoulders of those who came before and not on their toes,从DBMS演化看时序数据库市场发展方向
Michael Stonebraker祖师爷和Andrew Pavlo大师合作的《What Goes Around Comes Around... And Around...》发表在sigmod2024上,作为二十年一个轮回的综述文章,这篇文章宏观上很好的概括了过去两个十年内数据模型和查询语言的演进,并由此引出几种典型系统的消亡史。原创 2024-07-21 15:14:25 · 857 阅读 · 0 评论 -
从一到无穷大 #30 从阿里云盘古的屠龙之术看使用blob storage作为统一存储层的优势
存算分离中统一存储层最核心的驱动因素是吞吐量足够的情况下iops/gb足够高(低成本的情况下提供强大的性能)。这意味着要在高密存储机型下达到内存/cpu/网络吞吐/io吞吐的平衡,以此增加总体资源利用率,降低总成本。原创 2024-06-30 11:20:23 · 1070 阅读 · 0 评论 -
从一到无穷大 #29 ByteGraph的计算,内存,存储三级分离方案是否可以通用化为多模数据库
本篇文章简单阐述两篇论文中的细节优化点,而后从架构入手对比现有部分时序数据库,多模数据库的架构,讨论其通用性,并探讨其扩展至多模数据库的可能性。原创 2024-06-22 21:29:53 · 951 阅读 · 0 评论 -
从一到无穷大 #28 从S3 Storage Node的轻量级形式化方法思考交付稳定存储产品的方法论
复杂系统的质量并非一蹴而就,而是遵循客观事实逐步演进的,稳定产品的测试最佳实践唯有Early、Continuous。原创 2024-05-30 11:20:43 · 1073 阅读 · 0 评论 -
从一到无穷大 #27 从Amazon MemoryDB视角看稳定binlog带来的无限可能性
一个稳定的binlog可以带来无限的可能性,异地复制,PITR,流计算,构建稳定副本,存算分离等等原创 2024-05-18 22:54:01 · 932 阅读 · 0 评论 -
从一到无穷大 #26 Velox:Meta用cpp实现的大一统模块化执行引擎
在希望提供更强工程能力的计算引擎这点来看,项目开发之初接入Velox是正确的,此时最大的风险在于接入Velox最大的问题在于将自己的身家性命与快速迭代的可能交给了Velox和它的扩展API,当Velox无法支持时必要特性时就麻烦了。如果项目开发已经有段时间,此时愿意放弃自己团队已经投入很久的实现,而完全去使用Velox的c++实现作为单机runtime需要团队有一定的魄力,其次需要技术视野清晰,明确替换后的优势,一定需要ROI确定后再动手。原创 2024-05-05 21:18:56 · 1426 阅读 · 0 评论 -
从一到无穷大 #25 DataFusion:可嵌入,可扩展的模块化工业级计算引擎实现
使用开源的执行引擎,所有玩家都将具备同 Snowflake 十年前独有的相同向量化执行能力,当存储层对每个人来说都是相同时(云盘/对象存储),区分 DBMS 产品的关键因素将会是那些难以量化的事物,比如稳定性,UI/UX 设计,查询优化等。好在并不是所有人存储层都一致,这意味着我们可以基于不同的场景设计不同的存储引擎,针对不同场景的存储引擎插件化以及智能化引擎参数调优,并佐以智能索引构建,cache等外部能力建设有竞争力的产品。原创 2024-05-02 20:40:01 · 1425 阅读 · 0 评论 -
从一到无穷大 #24 LogReducer:讨论日志中热点的影响,识别及在线解决方法
LogReducer这篇文章阐述了微信的工程师如何通过在线和离线的方式减少日志对于程序的影响,我认为这篇文章的主要贡献分为以下两个方面:1. 对真实世界系统中的日志热点进行了系统研究,以揭示日志热点的影响、日志热点出现的原因以及如何解决这些问题2. 提出了一种基于eBPF的非侵入式、不依赖语言且高效的日志缩减框架,可自动识别日志热点并即时缩减日志,将日志热点的修复时间从平均 9 天缩短到测试中的 10 分钟原创 2024-02-18 17:41:54 · 1225 阅读 · 2 评论 -
从一到无穷大 #23 《流计算系统图解》书评
现有的时序数据库只是实现了窗口仅为时间,无状态的,且非DAG的简化批处理系统,想以此替代流系统的全部份额基本不太现实,但是确实可以拿下其中部分收益,领域垂直公司需要故事去活下去,但是公有云需要关注业务上真正需要解决的问题,可见的未来我们的精力不会投入到完善时序的流计算系统中去。原创 2024-02-09 18:32:01 · 1368 阅读 · 0 评论 -
从一到无穷大 #22 基于对象存储执行OLAP分析的学术or工程经验,我们可以从中学习到什么?
这篇文章于我而言最大的启发有四点:1. 基于对象存储执行分析需求的数据支持2. 基于对象存储执行分析需求的实践经验3. 使用对象调度器平衡数据检索和数据处理的资源使用,这种思路可以用在很多地方4. 基于对象存储性能存在下降(复杂的cache策略可以部分缓解,这里的研究很多),所以这里其实是成本和性能之间的权衡原创 2024-02-05 22:56:15 · 1065 阅读 · 0 评论 -
从一到无穷大 #21 从基于多数据模型分析负载的Benchmark讨论多模数据库的发展方向
结论1:基于统一kv/宽表底座的多模型数据库是错误的方向,只有不同模型拥有不同的存储引擎才可以带来最大的综合性能优势结论2:哪怕是最优秀的存储引擎也只是在Trade-off,没有一种设计可以保证所有情况下的最优,所以需要智能化调优,并在项目选型之初选择最适合业务场景的引擎。结论3:完全独立的多个不同模型数据库对于联合分析的场景性能较差原创 2024-01-21 19:12:02 · 1567 阅读 · 6 评论 -
从一到无穷大 #20 TimeUnion,适用于混合云的时序数据库?是玩具还是真实可用
工作上有一段攻坚时期,使得距离上一次写文章已经过了两个月,终于把拖了很久的《TimeUnion: An Efficient Architecture with Unified Data Model for Timeseries Management Systems on Hybrid Cloud Storage》学习完,并有时间记录一下,结合昨天的国足比赛,有一种吃了两颗屎味巧克力的感觉。原创 2024-01-14 19:47:16 · 1002 阅读 · 0 评论 -
从一到无穷大 #19 TagTree,倒排索引入手是否是优化时序数据库查询的通用方案?
工程不是学术,对于一个新结构我们最关心的是这个特性的普适程度以及各种负载下的稳定性原创 2023-11-19 22:23:28 · 838 阅读 · 0 评论 -
从一到无穷大 #18 时序数据库运营SLI思考
1. 读写差异巨大,读写的SLI设定应该分离,而且写入偶尔的失败是可预料的,频繁的告警没有意义2. 数据库内的写可能只是链路的一部分,我们希望跟踪全链路的写入指标3. 时间范围不同的查询告警指标的设定应该不是一致的4. 我们希望通过session做服务降级,也希望更好的理解业务层面的SLI,单独的查询分析不能cover这一场景原创 2023-10-15 18:00:16 · 536 阅读 · 0 评论 -
从一到无穷大 #17 Db2 Event Store,A Purpose-Built IoT Database Engine
给我的感觉Db2 Event Store是一个私有的InfluxDB IOX,只不过没有InfluxDB IOX功能那么强大而已,其在写入流程,COS的利用,存储格式,以及架构上给我的感觉是后者好像也可以这么实现,只不过后者计算节点可以不挂盘,且控制面更为强大而已原创 2023-09-17 20:48:37 · 273 阅读 · 0 评论 -
从一到无穷大 #16 ByteSeries,思考内存时序数据库的必要性
线上负载要求写入和实时查询高性能,时序数据库+缓存(内存时序数据库)可行。原创 2023-09-16 16:20:20 · 451 阅读 · 0 评论 -
从一到无穷大 #15 Gorilla,论黄金26H与时序数据库缓存系统的可行性
缓存系统的高效存在前提,在满足前提的情况下可以接受缺陷便没有理由不引入缓存系统,但是具体影响因素需要仔细权衡,时序数据库只有常态极端场景下缓存有显著效果。原创 2023-09-15 22:04:04 · 539 阅读 · 1 评论 -
从一到无穷大 #14 Online, realistic data, querying variable Time Series Database Benchmark
通用的时序数据库BenchMark是一个看似简单,实则极具挑战的问题。原创 2023-09-10 20:46:41 · 147 阅读 · 0 评论 -
从一到无穷大 #13 How does Lindorm TSDB solve the high cardinality problem?
云原生时序数据库目前来看还是一个没有行业标准架构特殊数据库分支,各大云厂商都有自己的集群化实现,从谷歌的Monarch,阿里的Lindorm,腾讯的CTSDB,到垂直领域的InfluxDB IOX,TDengine,IotDB,都是各有的特点和适合的领域。终究不存在银弹,强如各大头部厂商也只是在做Trade off...原创 2023-09-05 23:56:37 · 556 阅读 · 0 评论 -
从一到无穷大 #12 Planet-Scale In-Memory Time Series Database, Is it really Monarch?
Monarch这篇文章的重点不在于In-Memory的存储引擎,而在于其新颖的数据模型,路由方式,查询下推和FHI,其中提出的不少点值得学习。原创 2023-09-03 21:10:38 · 191 阅读 · 0 评论 -
从一到无穷大 #11 Is mmap shit or not?
最近正在研究InfluxDB1.8的series file实现,竟发现其中大量使用mmap,这和我的固有认知有非常大的差异。原创 2023-08-20 17:41:48 · 386 阅读 · 0 评论 -
从一到无穷大 #10 讨论 Apache IoTDB 大综述中看到的优劣势
边缘设备(时序数据的产生点)边缘服务器中需要一个用于写入,存储和查询的数据库云端的计算集群,用于OLAP分析不断变化的模式,即对于SchemaLess的支持(传感器经常被替换,移除,新增)周期性的数据采集强相关的series(利用2,3可以增加压缩的可能性)多样化延迟数据的写入高并发的数据写入一天之内10万数据点的selection在100ms三年之内1000万数据点的aggregation在100ms。原创 2023-08-13 19:52:35 · 874 阅读 · 0 评论 -
从一到无穷大 #8 Arrow,Parquet and ORC
不同介质导致的瓶颈使得数据存储格式的决策有很大的优化空间,主内存列存储和磁盘列存储之间存在根本差异。原创 2023-05-07 17:01:55 · 1093 阅读 · 0 评论 -
从一到无穷大 #5 公有云时序数据库定价
使得公有云中架构不得不改变的关键因素有三个,disaggregation,multi-tenancy,serverless。原创 2023-05-02 19:24:31 · 1302 阅读 · 3 评论 -
从一到无穷大 #4 Lossy compression
目前监控业务中绝大多数数据仍旧是浮点,且更让人关心的其实是大盘的趋势而不是精确的秒级数据,虽然Continuous Queries,预降采样可以以极低的成本满足部分查询的需求,但是源数据本身的存储也是必不可少的;分层存储已经可以使得冷数据可以降低到COS这样的低成本介质中,但是存储带宽也是一个不可忽略的因素,所以对于时序数据来说数据量本身是需要仔细斟酌的点。原创 2023-02-05 22:11:23 · 630 阅读 · 0 评论 -
从一到无穷大 #3 对象存储.浅谈
扁平的名称空间可以高度概述对象存储,但是我认为这不是选型的核心因素,对象存储的各种操作可以轻松的用Nosql代替。原创 2022-12-03 20:08:37 · 641 阅读 · 0 评论 -
从一到无穷大 #2 优雅的感知与处理Elephant Flows
热点直到现在依旧是一个“热点”问题,在不同的基础系统中对其的要求有不同的约束。原创 2022-11-06 21:11:24 · 994 阅读 · 0 评论 -
从一到无穷大 #1 隔离变化,机制与策略分离
区分机制和策略是Unix设计背后隐含的最好思想之一。原创 2022-10-23 21:36:06 · 626 阅读 · 2 评论