大数据
文章平均质量分 88
海燕技术栈
既然巅峰留不住,那就重走来时路
展开
-
盘点分布式数据计算框架和相关中间件
Avro 不仅提供数据序列化,还允许定义数据的架构(Schema),使得数据能够被动态检测和理解。原创 2024-01-28 11:15:29 · 1049 阅读 · 0 评论 -
大数据处理系统的架构
Lambda 架构是一种用于处理大规模数据的设计模式,旨在结合批处理和实时处理,以应对对大量数据进行高效处理的需求。Lambda 架构的核心思想是将数据处理流程分为批处理层和实时处理层,并将它们整合在一起,以获得高可扩展性和灵活性。然而,Lambda 架构也面临一些挑战,如系统复杂性、维护成本以及对两个处理层之间一致性的管理。为了解决一致性问题,有时候会使用一个合并层(Merge Layer)来合并批处理和实时处理的结果。原创 2024-01-27 23:11:08 · 1232 阅读 · 0 评论