博客专栏  >  云计算/大数据   >  Impala实践

Impala实践

工作中遇到了很多和Impala相关的问题,由此而记录的内容,特此分享。

关注
20 已关注
16篇博文
  • Impala实践之十五:Impala使用文档

    前言Impala集群中有两台机器的Impala Daemon不能正常启动,记录一下整个过程和解决方式。过程阶段一Impala集群的状态开始飘红,有两台节点不能正常使用。这时候发现集群里面有十多个任务正...

    2016-08-31 15:50
    1992
  • Impala实践之十四:一次Impala节点故障记录(不能启动)

    前言Impala集群中有两台机器的Impala Daemon不能正常启动,记录一下整个过程和解决方式。过程阶段一Impala集群的状态开始飘红,有两台节点不能正常使用。这时候发现集群里面有十多个任务正...

    2016-08-25 18:35
    2000
  • Impala实践之十三:Impala建表时的关键字

    前言由于经常要帮数据分析抽表,因此自己写了个自动生成impala和sqoop脚本的工具,结果今天发现一个库中17张表,只成功导入了12张。仔细检查才发现是是由于impala建表时候字段使用了locat...

    2016-08-21 11:27
    2844
  • Impala实践之十二:impala压缩方式测试

    前言测一下parquet、snappy、gzip、textfile这些方式在hdfs中占用的存储大小。在impala中直接建内部表。测试 存储格式 压缩格式 文件大小 建表时间 te...

    2016-08-21 11:27
    1724
  • Impala实践之十一:parquet性能测试

    前言之前一直考虑更换impala的文件存储格式为parquet,但是没有立即使用,最近又做了一些测试,看看parquet是否真的有用。在测试的时候顺便测了一下compute语句的效果,一起作为参考。下...

    2016-08-21 11:26
    2161
  • Impala实践之十:impala最佳实践(转、译、整理)

    前言最近在看impala原理时候翻出来的一些tip,帮助更好地使用impala,自己整理一下。0x01 杂项1. Impala 使用缓存吗?Impala 不会缓存数据,但它缓存一些表和文件的元数据。尽...

    2016-08-19 15:42
    1286
  • Impala实践之九:invalidate metadata详细使用方法说明

    前言Impala一直是我们各个业务使用的重点,但是在Impala的使用上感觉一直不是很成熟,比如说 invalidate metadata操作,到底什么时候该使用-r参数,什么时候不使用,什么时候可以...

    2016-08-19 15:41
    982
  • Impala实践之八:脚本中引号问题

    前言写脚本,遇到一个小坑,python和seven帮忙填了一下,突然想起来之前貌似遇到过类似的情况。版本一脚本:sql=$1 coordinator=$2 output_file=$3echo $sq...

    2016-08-18 12:53
    1506
  • Impala实践之七:添加负载均衡

    前言impala的负载均衡,使用haproxy来做,主要是比较简单。安装后做一个小配置就行。主要用的就是haproxy四层交换机的特性,讲所有指向haproxy主机和端口的请求,转发到相应的主机:端口...

    2016-08-18 12:52
    1511
  • Impala实践之六:使用Rest Api

    前言上次的impala状况出现后,决定自己做一套impala的管理系统,那么首先面临的一个问题就是获取impala的各种状态,比如任务执行状态。经过一天多的尝试,总结一下。 hue:可以使用hue的脚...

    2016-08-18 12:51
    2378
  • Impala实践之五:一次系统任务堵塞记录 + 思考

    前言前段时间,imppala资源告警,各种任务失败,查询堵塞,因此公司集群升级。这次迁移的确必须,因为当时的集群规模很小,资源太紧张了。迁移集群后,今天集群再次出问题,导致一个下午没什么事都没干,查了...

    2016-08-15 13:19
    1886
  • Impala实践之四:记一次Impala报错的处理和分析过程

    前言impala集群出错的一次记录和解决方法以及解决思路。错误记录错误信息Memory limit exceeded Cannot perform hash aggregation. Partitio...

    2016-08-10 12:37
    837
  • Impala实践之三:详解invalidate metadata

    前言这次主要是想通过源码找到invalidate metadata执行的原理,由于不太懂java和c++的互调的细节,目前只能查找到如下阶段,后面会专门看一下java的jni以及thrift的原理。分...

    2016-08-10 12:36
    2362
  • Impala实践之二:Hive元数据

    0x00 前言深入学习Impala的最主要一个原因就是目前在使用Impala的时候遇到了各种了性能问题,之前定位过一次问题,猜测其性能损耗的一个主要原因在INVALIDATE METADATA和-r参...

    2016-08-08 19:08
    2892
  • Impala实践之一:基本原理

    0x00 前言最近在使用impala,顺便学习一下相关的原理部分。下面的组织结构会先介绍一下impala的大致原理和涉及的技术,然后对每块涉及到的技术做一个梳理,最后再深入一点impala的原理。im...

    2016-08-08 19:07
    1484
  • parquet性能测试

    前言之前一直考虑更换impala的文件存储格式为parquet,但是没有立即使用,最近又做了一些测试,看看parquet是否真的有用。在测试的时候顺便测了一下compute语句的效果,一起作为参考。下...

    2016-05-02 16:29
    779
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部