QStreaming-轻量级大数据ETL开发框架

QStreaming背景

首先在进入主题之前我们先来回顾下经典的大数据ETL架构有哪些？

1. Lambda架构
   
2. Kappa架构
   
3. 混合架构
   

它们之间的区别如下：

七牛的大数据平台在搭建过程中也经历了上面几个架构的变迁，也就是从最早的Lambda架构，到尝试使用Kappa架构，再到后面的新型混合ETL架构，为了满足业务需求，开发人员在这几个架构中进行折中选择，但是我们发现上面几个架构对于大数据的开发人员要求较高，主要体现在下面几个方面：

1. 涉及到众多的框架，如流处理框架就有早期的Apache Storm，到后面的Apache Spark Streaming,再到Apache Flink，学习门槛较高
2. 不同计算框架对与数据源的定义不统一，造成输入输出较难管理
3. 数据开发人员新开发一个业务指标，不同开发人员写出的代码风格不统一，开发效率低，很难进行工程化，后期维护也必将困难

为了解决上面的几个问题，团队选择基于Apache Spark开发了QStreaming这套简单轻量级ETL开发框架

QStreaming特性

数据源支持

1. Apache Kafka
2. Apache Hbase
3. Hadoop HDFS/S3
4. Jdbc