impala和hive及kylin的速度对比

最新推荐文章于 2022-10-24 20:55:52 发布
最新推荐文章于 2022-10-24 20:55:52 发布
阅读量6.7k 收藏 5
点赞数 3
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40885383/article/details/91044102
版权

在hive中map跑完reduce跑了13%已经12分半了，完成大概要30分钟

hive完成

impala完成只要1分半

其中kylin需要自建工程将hive或者其他数据导入，impala和hive数据源都是一样的  同样是hdfs

的数据，而且impala的元数据也是保存在hive的元数据里的。

 

叫我MC_Yang
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
data-generator:如果你在从事大数据BI的工作，想对比一下MySQL、GreenPlum、Elasticsearch、Hive、Spark SQL、Presto、Impala、Drill、HAWQ、Druid、Pinot、Kylin、ClickHouse、Kudu等不同实现方案之间的表现，那你就需要一份标准的数据进行测试，这个开源项目就是为了生成这样的标准数据
05-17
数据生成器如果你在从事大数据BI的工作，想对比一下MySQL、GreenPlum、Elasticsearch、Hive、Spark SQL、Presto、Impala、Drill、HAWQ、Druid、Pinot、Kylin、ClickHouse、Kudu等不同实现方案之间的表现，那你就需要...
大数据及其常用组件介绍
11-06
本TTP为大数据及其常用组件的基本介绍（hdfs hive hbase kafka spark kudu impala kylin streamsets）仅供参考。
Impala与Hive的比较
mic_hero的专栏
01-18 711
1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的 Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase
黑猴子的家：Kylin 快速入门之Hive 和 Kylin 性能对比
黑猴子的博客
02-07 1848
1、Hive查询 hive> select dname,sum(sal) from emp e join dept d on e.deptno = d.deptno group by dname; Query ID = yinggu_20200206182830_de4886e0-02c9-4286-9eab-c9051f2680bc Total jobs = 1 Execu...
Druid/Impala/Presto/Spark SQL/Kylin/Elasticsearch功能对比
Knight
08-07 1469
Druid Druid:是一个实时处理时序数据的OLAP数据库，因为它的索引首先按照时间分片，查询的时候也是按照时间―去路由索引。 Kylin kylin:核心是Cube，Cube是一种预计算技术，基本思路是预先对数据作多维索引，查询时只扫描索引而不访问原始数据从而提速。 Presto Presto:它没有使用MapReduce，大部分场景下比Hive快一个数量级，其中的关键是所有的处理都在内存中完成。 lmpala lmpala:基于内存运算，速度快，支持的数据源没有Presto多。 Spark SQL.
Kylin 快速入门 （三）Hive 和 Kylin的性能对比
weixin_45417821的博客
01-26 1450
文章目录Hive 和 Kylin 性能对比HiveKylin 查询 Hive 和 Kylin 性能对比 需求：根据部门名称[dname]统计员工薪资总数[sum（sal）] SQL ： select dname,sum(sal) from emp e join dept d on e.deptno = d.deptno group by dname; Hive hive (kylin_test)> select dname,sum(sal) from emp e join dept d on e.d
【转载】一套数据，多个引擎--impala、hive、kylin
无人境域
04-26 964
原文地址：https://jiezhu2007.iteye.com/blog/2153589 详细内容请点击链接。 伴随着大数据存储与分析处理软件架构的演变，大数据处理这个概念的数据量范围将不断延展。尤其是智能技术在自学习上对数据的应用，速度与数据量将不段快速迭代演化，大数据技能将是软件研发人员的基本功之一了。 ...
Kylin–基于Hadoop的大规模联机分析处理OLAP引擎 共33页.pdf
03-26
* 极速的OLAP引擎：Kylin能够提供亚秒级的查询延迟，远高于Hive查询的速度。 * ANSI-SQL接口：Kylin支持ANSI-SQL查询语句，兼容大多数SQL查询函数。 * 无缝集成BI工具：Kylin当前支持与Tableau集成，未来将支持与...
大数据技术组件选型对比.pdf
05-18
- Impala则通过内存计算加速查询，避免了MapReduce，提供接近于传统数据库的查询速度，但其依赖多个组件，增加了复杂性。 在选择大数据技术组件时，需要根据具体业务需求，比如数据规模、实时性要求、查询复杂度和...
boracay:统一数据服务和数据流平台
05-26
应用：报表分析、联机分析、多维分析、多表关联等目前实现：Hive、Impala、Hive on Spark、Kylin、Inceptor、Oracle、MySQL、DB2接口支持：TD、Sql Server等Sql数据源模型管理（MM）模块说明：适用于同步调用
一套数据，多种引擎（impala/Hive/kylin）
人生重要的不是所站的位置，而是所朝的方向。
11-07 1027
  以前写过一篇文档讨论MPP DB的发展，《MPP DB 是大数据实时分析系统未来的选择吗？》，当时主要是想讨论下Greenplum数据库是否合适做数据存储，以及实时查询。文章我主要提的MPP DB短板是扩展性和对并发的支持，从目前Pivotal公司主推的HAWK，已经可以清楚的看到，业界主流的思路是SQL onhadoop，用传统引擎的高性能加上hadoop 存储的鲁棒性，来构建大数据实...
13.2 kylin的初步使用对比hive,impala
kk25114的博客
08-02 1124
1.执行官方的demo 导入数据 [root@mini2 bin]# ./sample.sh Retrieving hadoop conf dir... Loading sample data into HDFS tmp path: /tmp/kylin/sample_cube/data Going to create sample tables in hive to database ...
Impala的优缺点
weixin_34400525的博客
04-29 597
   　　不多说，上干货！     优点： 支持SQL查询，快速查询大数据。 可以对已有数据进行查询，减少数据的加载，转换。 多种存储格式可以选择（Parquet, Text, Avro, RCFile, SequeenceFile）。 可以与Hive配合使用。       缺点： 不支持用户定义函数UDF。 不支持text域的全文搜索。 不支持Trans...
大数据介绍（一）
qq_41934990的博客
06-09 5719
这是本人整理的一些关于大数据的知识，总分为三个方面，第一方面主要在于理论和理解，后面的方面在于操作和补充；希望对想学大数据的你有点帮助第一方面：大数据离线分析 一般处理T+1数据 Hadoop 2.X：（common、HDFS、MapReduce、YARN）  Hadoop并不是什么数据库，也不是程序库，甚至不是一个独立产品。实际上，Hadoop是一些独立模块的组合，包括一个分布式文件系统H...
impala 最大的坑(说impala慢，是因为你不知道怎么使用它)
老农民挖数据
07-12 2万+
接到任务，impala查询慢。坑比较多。。。。。。 可能大家看到许多博客写优化的比较多，但我这个坑，好像没有人遇到。 优化，我也能列出一些 比如： 1.分区不能超过1w多 2.要执行compute stats xxx 表 3.join时，把小表写前面，会把小表广播到其他节点。 4.选择parquert 格式存储。 5.xxx   6.xxxxx          貌似以
Presto、Impala性能比较
高矮
01-22 2万+
下面是Presto、Impala这两种典型的内存数据库的简单测试比较，当然这种内存数据库类似的还有spark sql,这种数据库在大数据量，多表关联查询时，会展现出自己的优势，下面是一组impala和presto的性能对比图： 环境准备：1台32G内存、2台16G内存，没有完全把内存配置饱和 测试数据：hive中3张2000W数据量的表 集群：impala和presro部署在3台机器上
impala与hive的比较以及impala的有缺点
热门推荐
Gemini的博客
01-06 3万+
最近读的几篇关于impala的文章，这篇良心不错：https://www.biaodianfu.com/impala.html（本文截取部分内容）         Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎
Impala概述
凉茶铺的博客
10-24 1542
介绍了Impala的基本概念
实时分析系统(HIVE/HBASE/IMPALA)浅析
人生重要的不是所站的位置，而是所朝的方向。
04-27 1192
1. 什么是实时分析（在线查询）系统？ 大数据领域里面，实时分析（在线查询）系统是最常见的一种场景，通常用于客户投诉处理，实时数据分析，在线查询等等过。因为是查询应用，通常有以下特点： a. 时延低（秒级别）。 b. 查询条件复杂（多个维度，维度不固定），有简单（带有ID)。 c. 查询范围大（通常查询表记录在几十亿级别）。 d. 返回结果数小（几十条甚至几千条）。 e. 并发...
impala和hive
最新发布
06-11
Impala和Hive都是Hadoop生态系统中的数据处理工具，但它们有一些不同之处。 Hive是一个基于SQL的数据仓库工具，它提供了一个类似于SQL的查询语言，用于查询和分析大数据集。 Hive将SQL查询转换为MapReduce作业，并在Hadoop集群上运行这些作业来处理数据。 Hive适用于离线批处理作业，它的查询速度相对较慢，因为它需要将SQL语句转换为MapReduce作业。 Impala是一个基于内存的分布式SQL查询引擎，它允许用户在Hadoop集群上快速查询和分析数据。 Impala可以直接查询存储在HDFS和HBase中的数据，并且查询速度比Hive快得多，因为它不需要将SQL查询转换为MapReduce作业。 Impala适用于需要快速查询和分析数据的实时应用程序。 总体而言，Hive适用于离线批处理作业，而Impala适用于需要实时响应的查询和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值