impala0.7与hive(分别基于MR1和MR2)的测试性能对比

本文提供了Impala 0.7与基于MR1和MR2的Hive 0.10.0-cdh4.2.0的性能对比测试。测试在特定硬件配置下进行,包括创建多个表并执行查询。Impala0.7在测试中显示出不支持array类型、缺乏隐式类型转换等问题,同时其缓存机制可能导致数据不一致。此外,某些查询操作在Impala中报错,这被认定为一个已知的bug。
摘要由CSDN通过智能技术生成

硬件配置:

节点

Ip

os

cpu

内存

磁盘

Jn-48

10.31.72.48

RH5.7

E5620*2  16核

24G

SSD40G*2+2T*12

master-41

10.31.72.41

RH5.8

E5620*2  16核

24G

SSD40G*2+2T*12

slave-42

10.31.72.42

RH5.8

E5620*2  16核

24G

SSD40G*2+2T*12

slave-43

10.31.72.43

RH5.8

E5620*2  16核

24G

SSD40G*2+2T*12

slave-44

10.31.72.44

RH5.8

E5620*2  16核

24G

SSD40G*2+2T*12

slave-45

10.31.72.45

RH5.8

E5620*2  16核

24G

SSD40G*2+2T*12

 

节点角色:

CM:cloudera-manager

节点

角色

Jn-48

CM-Server   postgresql(CM元数据存储)

master-41

NameNode  Jobtracker  ResourManager  Hive-Metastore  Impala-StateStore  HMaster  CM-agent

slave-42

SecondaryNameNode  DataNode  TaskTracker  NodeManager  Impalad  Region-Server CM-agent

slave-43

DataNode  TaskTracker  NodeManager  Impalad  Region-Server  Zookeeper  CM-agent

slave-44

DataNode  TaskTracker  NodeManager  Impalad  Region-Server  Zookeeper  CM-agent

slave-45

DataNode  TaskTracker  NodeManager Impalad Region-Server Zookeeper mysql(hive元数据存储) CM-agent

 

测试的表信息:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值