自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(2)
  • 收藏
  • 关注

原创 QStreaming-轻量级大数据 ETL 开发框架 (3)

QStreaming 背景首先在进入主题之前我们先来回顾下经典的大数据 ETL 架构有哪些?1. Lambda 架构2. Kappa 架构3. 混合架构它们之间的区别如下:ETL架构优点缺点Lambda架构架构简单很好结合了离线批处理和实时流处理的优点稳定且实时计算成本可控离线数据易于订正实时,离线数据很难保持一致结果需要维护2套系统代码不统一Kappa架构只需要维护实时处理模块离线可以通过消息重放无需离线实时数据合并强依赖消息中间件缓存能力实时数据处理

2020-11-20 17:20:59 360 1

原创 QStreaming-轻量级大数据ETL开发框架

QStreaming背景首先在进入主题之前我们先来回顾下经典的大数据ETL架构有哪些?Lambda架构Kappa架构混合架构它们之间的区别如下:七牛的大数据平台在搭建过程中也经历了上面几个架构的变迁,也就是从最早的Lambda架构,到尝试使用Kappa架构,再到后面的新型混合ETL架构,为了满足业务需求,开发人员在这几个架构中进行折中选择,但是我们发现上面几个架构对于大数据的开发人员要求较高,主要体现在下面几个方面:涉及到众多的框架,如流处理框架就有早期的Apache Storm

2020-11-06 13:49:49 589

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除