![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
impala
文章平均质量分 88
cclovezbf
这个作者很懒,什么都没留下…
展开
-
impala sql优化
老生常谈的问题了。为什么要优化?1.内存溢出导致执行报错2.sql执行时间过长比如30min 1h3.占用内存太大影响其他sql。其他的原因我是想不出来了,比如一个sql跑出结果只要1s ,即使有优化空间,你还优化他么。。以下都是个人见解如有不对欢迎评论。原创 2023-04-06 18:04:10 · 743 阅读 · 0 评论 -
impala学习sql优化之summary(实战分析)
4. 5就是花费时间,我们看下 主要的花费时间在 00scan kudu 1.64s 和02 hash join 11s。2.第二行 host 看了下 1 和10,1代表的是在一台机器上完成,10代表的是分布式,以这个sql为例,广播gb表到10个hosts上,基于内存在于gcc join。在我们执行完一个sql后,执行summary。join的方式,内存的预估(说实话这个我还没看懂),表是否统计过信息。可以看到出来一个表格,简洁直观,我们来分析一下。这两个表都是kudu表。有没有发现哪里有点相似呢?原创 2023-04-03 17:32:03 · 518 阅读 · 0 评论 -
impala set设置之NUM_NODES
2. =0代表所有节点,或者=1 代表协调节点 (我说我设置=3 =10 和没设置一样。1.限制在查询时使用的节点数,一般用于debug的时候。因为单节点占用内存多,会直接和其他分布式sql查询 抢夺资源,导致其他查询慢。到clouder manager里看 查询时间变长,但是内存这块对于单节点负荷肯定变大。3. 一般是你怀疑由于分布式查询 出现了结果错误,就用这个模式debug下。4.直接点 set NUM_NODES=1 可以减少小文件!可以看到单节点的时候,所需要的内存变大了。-----至于小文件。原创 2023-04-03 12:06:12 · 522 阅读 · 0 评论 -
impala set设置MEM_LIMIT
峰值内存由683.4降低为419,看的出来还是有点效果的。但是可以看到查询的时间也多了一点。原创 2023-04-03 10:35:49 · 1189 阅读 · 0 评论 -
impala查询优化和explain学习
是因为看到了这篇文章,想自己再继续研究下。Impala Join策略与执行计划生成作为铺垫,本文首先对Broadcast Join和Partitioned Join进行简要介绍。Broadcast Join 顾名思义,Broadcast Join就是广播的方式进行Join。以下图为例,假设Join操作为SELECT A JOIN B ON A.idB.id,Broadcast Join就是将B表&#…impala版本 3.4.0官网地址翻译: COMPUTE STATS 对于查询优化非常重要。原创 2023-03-31 17:34:24 · 937 阅读 · 0 评论 -
impala高级设置之BROADCAST_BYTES_LIMIT
官网地址https://impala.apache.org/docs/build/html/topics/impala_broadcast_bytes_limit.htmlSets the limit for the size of the broadcast input based on estimated size.The Impala planner may in rare cases make a bad choice to broadcast a large table or intermedia原创 2022-07-14 16:45:37 · 355 阅读 · 0 评论 -
impala高级设置之count()
有人说count() 我难道不会?不就是计数么? sql的入门语法呀。可是要知道不同的数据库或者查询引擎有着不同的优化或者计算方式。所以都要学习。照例官网地址zhttps://impala.apache.org/docs/build/html/topics/impala_count.html#counthttps://impala.apache.org/docs/build/html/topics/impala_count.html#countCOUNT Function.原创 2022-07-16 17:09:46 · 1256 阅读 · 0 评论 -
impala高级设置set之APPX_COUNT_DISTINCT
impala高级设置 系统调优set参数学习原创 2022-07-11 15:56:08 · 403 阅读 · 0 评论 -
impala高级设置set之BATCH_SIZE
加快impala查询速度原创 2022-07-11 15:46:48 · 539 阅读 · 0 评论 -
impala查询报错之MAX_ROW_SIZE
max_row_size 报错原因,具体分析,实战演练,官网学习原创 2022-07-10 22:04:38 · 1626 阅读 · 0 评论 -
impala查询转义问题
select REGEXP_REPLACE('佰分贰拾(深圳)品牌管理有限公司', '\\(', '(')然后SELECT vendor_full_name,REGEXP_REPLACE(vendor_full_name, '\\(', '(')FROM odsmdmdata.sms_vendor_party_t报错,这就日了狗了 仔细看报错日志 我就两个\\ 怎么就被转义成4个\\了所以我只用一个\就好SELECT vendor_full_name,REGEXP_REP...原创 2022-04-13 17:42:24 · 1319 阅读 · 0 评论