爱奇艺大数据加速：从Hive到Spark SQL

01

   导语

爱奇艺自2012年开展大数据业务以来，基于大数据开源生态服务建设了一系列平台，涵盖了数据采集、数据处理、数据分析、数据应用等整个大数据流程，为公司的运营决策和各种数据智能业务提供了强有力的支持。随着数据规模的不断增长和计算复杂度的增加，如何快速挖掘数据的潜在价值，给大数据平台带来了巨大挑战。

针对海量数据的实时分析需求，大数据团队从2020年开始发起大数据加速项目，基于大数据技术加速爱奇艺数据流通，促进更实时的运营决策、更高效的信息分发。其中之一就是推动OLAP数据分析从Hive引擎切换到Spark SQL引擎，取得了明显收益，任务提速67%、资源节省50%，为BI、广告、会员、用户增长等业务带来提效增收。

02

   背景

爱奇艺大数据平台建设初期，基于开源的Hadoop生态构建了大数据基础架构和数据仓库，主要使用Hive进行数据处理和分析。Hive是一款基于Hadoop的离线分析工具，它提供了丰富的SQL语言来分析存储在Hadoop分布式文件系统中的数据：支持将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；支持将SQL语句转换为Hadoop MapReduce任务运行，通过SQL查询分析需要的内容，使不熟悉Hadoop MapReduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。然而，Hive处理速度相对较慢，尤其是在处理大规模数据的复杂查询时更为明显。

随着业务的发展与数据量的激增，尤其是广告智能出价、信息流推荐、实时会员运营、用户增长等对时效敏感的新型业务接入后，采用Hive进行离线分析已经不能满足业务对数据时效性的需求。为此，我们引入了Trino、ClickHouse等一系列更加高效的OLAP引擎，但这些引擎更侧重数据分析环节，数据分析所依赖的数据仓库以及前序的数据清洗处理等环节依旧是构建在Hive的基础上。因此，如何提升Hive处理和分析的性能，从而实现爱奇艺大数据链路的整体加速，成为亟待解决的问题。

03

   方案选型

我们调研了Hive on Tez、Hive on Spark、Spark SQL等几个主流的替代方案，从功能兼容性、性能、稳定性、改造成本等多个维度进行了系统性地分析比较，最终选型Spark SQL。

• Hive on Tez

该方案将Tez作为Hive的一种可插拔的执行引擎，代替MapReduce执行作业。Tez是Apache开源的支持DAG作业的计算框架，它的核心思想是将Map和Reduce两个操作进一步拆分并形成一个大的DAG作业。相对于MapReduce，Tez省去了很多不必要的中间数据存储和读取的过程，直接在一个作业中表达了MapReduce需要多个作业共同协作才能完成的事情。

优势：

• 无感切换：SQL语法仍然是Hive SQL，通过配置将Hive的执行引擎由MapReduce替换为Tez即可，上层应用无需改造

劣势：

• 性能较差：该方案对大规模数据集的并行处理能力较差，在发生数据倾斜时表现明显

• 社区不活跃：该方案在业界落地相对较少，社区交流讨论不多

• 运维成本高：Tez引擎执行出现异常时，可以参考的资料较少

• Hive on Spark

该方案将Spark作为Hive的一种可插拔的执行引擎，代替MapReduce执行作业。Spark是一种基于内存计算的大规模数据处理引擎，相对于MapReduce，Spark具备可伸缩、充分利用内存、计算模型灵活等特点，在处理复杂任务时效率更高。

优势：

• 无感切换：SQL语法仍然是Hive SQL，通过配置将Hive的执行引擎由MapReduce替换为Spark即可，上层应用无需改造

  <