impala
文章平均质量分 63
kiraraLou
这个作者很懒,什么都没留下…
展开
-
【impala】【报错解决】 Impala cannot read or execute the parent directory of dfs.domain.socket.path的解决方法
前言:在使用CDH对 impala 服务进行扩容时,新增节点上面并没有部署 datanode 节点,然后在扩容中遇到了报错,这里整理并记录一下。报错内容:ERROR cc:268 Invalid short-circuit reads configuration: - Impala cannot read or execute the parent directory of dfs.domain.socket.pathERROR cc:271 Aborting Impala Server s转载 2022-03-14 10:21:04 · 849 阅读 · 0 评论 -
【impala】Impala 加载Hive的UDF函数,并设置为持久化persistent
一、前言:最近在使用impala组件时,发现有些在hive里有而impala里没有的函数,如在Hive中有一个UDF为get_json_object,用于解析Json,但是Imapla中没有类似的函数。于是进行了一些调研。impala 的 UDF函数是支持使用hive 的 UDF函数的。因为 Impala 和 Hive 共享相同的 Metastore 数据库。所以决定想将hive的 UDF 函数添加到impala 中。其中参考了一些网上的文章,最终实现了我的需求。这里整理并记录一下。二、实原创 2021-10-14 20:31:15 · 1873 阅读 · 0 评论 -
【impala】because it would exceed an applicable memory limit
错误信息ExecQueryFInstances rpc query_id=bf408e145c3fc6fb:b3e100c100000000failed: Failed to get minimum memory reservation of 105.88 MB on daemon dx-hadoop115.dx:22000 for query bf408e145c3fc6fb:b3e100c100000000 because it would exceed an applicable memory原创 2021-06-25 15:50:33 · 943 阅读 · 0 评论 -
【impala】取消impala失败的任务
环境信息:问题现象:CDH集群impala失败任务取消不掉。组件版本cdh版本5.13操作系统版本centos 6.9kerberos是问题原因:在cm界面取消impala任务会发送post请求,而post响应请求返回结果一般都超过10s,这时如果刷新或者执行别的操作,会使请求失败。从而导致取消任务失败。解决方法:方法一:按F12 查看p...原创 2021-04-06 18:38:00 · 1030 阅读 · 0 评论 -
【Impala】为Impala Daemon服务配置Executor和Coordinator角色
一、前提默认情况下,CDH集群中的Impala Daemon又可以充当查询的coordinator,也可以作为executor来执行查询本身,coordinator类似一个查询作业的管理角色一样负责协调各个Impala Daemon上的executor。在大规模集群中,Impala作业比较多的情况下,一个Impala Daemon既作为coordinator又作为executor是比较常见的,这就不可避免的会带来一些问题:1.coordinator与executor会互相干扰带来性能问题。对于较大或原创 2021-05-20 10:59:54 · 557 阅读 · 0 评论 -
【impala】python通过kerberos连接impala操作hive,及解决遇到的问题
参考文章:https://blog.csdn.net/qq_31922231/article/details/98056113并总结了遇到的问题一、环境信息组件版本python2.7cdh5.13kerberostrue二、安装相关包及配置python相关依赖包pip install krbcontext==0.9pip install thrift==0.9.3pip install thrift-sasl==0.2.1pip instal原创 2021-05-19 16:27:29 · 1612 阅读 · 1 评论 -
[Impala]impala监控任务 用es+grafana实现监控
一、前言目前要对impala执行的任务进行监控,目前采用的是用python每10分钟请求Cloudera Manager的数据,然后发送到es,配合grafana进行展示。大致的架构图如下:二、impala 任务REST API首先要知道CM 关于 impala 任务的rest api是什么才能进行后续的工作。1. cm的rest api 文档通过cm界面可以很快的找到cm的api文档2. 在api文档中找关于impala 的api下面这些就是和impala 相关的api/clust原创 2021-05-12 11:57:51 · 3491 阅读 · 3 评论 -
为impala开启HDFS缓存
HDFS缓存集中式缓存管理,由Datanode堆外内存组成,Namenode统一管理优点:阻止频繁使用的数据从内存中删除由于是Namenode统一管理,因此在读可以根据情况调度,提高读性能客户端可以通过零拷贝技术直接读取缓存数据提高集群内存利用率,读某个文件的时候会将解决步骤查看是否开启缓存查看当前是否存在缓存池hdfs cacheadmin -listPools创建HDFS缓冲池hdfs cacheadmin -addPool idnmk -owner原创 2021-04-13 18:27:23 · 315 阅读 · 0 评论