Spark作为ETL工具与SequoiaDB的结合应用

一、前言

ETL一词较常用于数据仓库，但其对象并不仅限于数据仓库。ETL是指将数据从源系统中经过抽取（Extract）、转换（Transform）、加载（Load）到目标数据存储区的过程。常见的ETL工具有Oracle Data Integrator、Informatica PowerCenter、DataStage、Kettle、DataSprider等。

在大数据应用中，海量的数据及对潜在应用的支持是非常重要的方面，并体现出与传统应用开发的巨大不同。因此，在选择合适的ETL工具时，除了需要考虑数据处理的正确性、完整性、工具易用性、对不同数据格式的支持程度之外，还必须考虑数据处理的效率、处理能力的可扩展、容错性。

Spark是UC Berkeley AMP lab开源的类Hadoop MapReduce的通用的并行计算框架，是一个新兴的大数据处理引擎，主要特点是提供了一个集群的分布式内存抽象。与Hadoop相比，Spark将中间数据放在内存中，避免频繁写盘，因此效率更高，更适合于迭代计算；在操作类型、开发语言支持上更丰富；在分布式数据集计算时通过checkpoint来实现容错。而且，由于Spark的分布式特性，处理能力的扩展更容易，也更经济。因此，从整体上，Spark作为ETL工具能帮助企业实现技术和财务的双赢。

SequoiaDB是新一代NewSQL数据库，是文档型分布式数据的典型代表。SequoiaDB企业版通过深度集成最新的Spark内存计算框架，实现了批处理分析、流处理等贴近应用的功能。存储层和计算层两层分离的架构，技术互补，是硅谷大数据新架构的主流，将分布式计算与分布式存储的能力分别发挥到了极致。在Spark最新版本中，SparkSQL对标准SQL的支持也越来越完善，更加体现出Spark产品的成熟。因此，在SequoiaDB应用中，利用Spark进行数据加工分析是理想之选。

二、功能概述

作为ETL工具，必须具备多样数据源的支持，比如HDFS、HBase、Amazon S3、MongoDB等。在这一点上，Spark支持跟多种数据源的对接，常见的数据源包括HDFS、Cassandra、HBase、Hive、ALLUXIO（即Tachyon）、Amazon S3；Spark也能从全文检索工具Elasticsearch中读写数据。Spark作为ETL