- 博客(2)
- 收藏
- 关注
RSS订阅原创 QStreaming-轻量级大数据 ETL 开发框架 (3)
QStreaming 背景首先在进入主题之前我们先来回顾下经典的大数据 ETL 架构有哪些？1. Lambda 架构2. Kappa 架构3. 混合架构它们之间的区别如下：ETL架构优点缺点Lambda架构架构简单很好结合了离线批处理和实时流处理的优点稳定且实时计算成本可控离线数据易于订正实时，离线数据很难保持一致结果需要维护2套系统代码不统一Kappa架构只需要维护实时处理模块离线可以通过消息重放无需离线实时数据合并强依赖消息中间件缓存能力实时数据处理
2020-11-20 17:20:59
360
1
原创 QStreaming-轻量级大数据ETL开发框架
QStreaming背景首先在进入主题之前我们先来回顾下经典的大数据ETL架构有哪些？Lambda架构Kappa架构混合架构它们之间的区别如下：七牛的大数据平台在搭建过程中也经历了上面几个架构的变迁，也就是从最早的Lambda架构，到尝试使用Kappa架构，再到后面的新型混合ETL架构，为了满足业务需求，开发人员在这几个架构中进行折中选择，但是我们发现上面几个架构对于大数据的开发人员要求较高，主要体现在下面几个方面：涉及到众多的框架，如流处理框架就有早期的Apache Storm
2020-11-06 13:49:49
591
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人