spark sql合并小文件_Spark在携程的实践（一）

一、Spark在携程应用的现状

集群规模：

平均每天MR任务数：30W+

开发平台：

调度系统运行的任务数：10W+
每天运行任务实例数：23W+
ETL/计算任务：~58%

查询平台:

adhoc查询：2W+
支持Spark/Hive/Presto

二、Hive与Spark的区别

Hive：

优点：运行稳定，客户端内存消耗小。
存在问题：生成多个MapReduce作业；中间结果落地，IO开销大；频繁申请和释放container，资源没有合理充分利用

Spark：

快：高效的DAG执行引擎，可以基于内存来高效的处理数据流，节省大量IO开销
通用性：SparkSQL能直接使用HiveQL语法，Hive Metastore，Serdes，UDFs