impala presto SparkSql性能测试对比

最新推荐文章于 2022-03-29 10:10:17 发布

young-ming

最新推荐文章于 2022-03-29 10:10:17 发布

阅读量2.2w

点赞数 1

分类专栏： Hadoop

本文链接：https://blog.csdn.net/u011750989/article/details/49944889

版权

该文旨在对比分析Impala、Presto和SparkSql在处理textfile snappy压缩数据时的性能表现。测试环境涉及15台机器，结果显示在ORCFile或Parquet等高效格式下，查询速度可能提升数倍。

摘要由CSDN通过智能技术生成

目标是为测试impala presto SparkSql谁的性能更佳，以下结果底层查询的都是普通textfile snappy压缩后数据，规模为15台机器，若以orcfile、parquet速度能快数倍

impala与presto性能相当，SparkSql逊色不少。

目前看presto相比impala

1、与hive实时共享元数据，impala需要用另外定时任务广播元数据，新生成的数据，用impala不能立即查询。

2、没有出现操作大数据集有时挂掉的情况

3、presto与hive都由fackbook开源，兼容性应该会更好点

关注

专栏目录