Hive
今天好好洗头了嘛
这个作者很懒,什么都没留下…
展开
-
Hive优化
合并小文件 set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; 压缩格式 进行shuffle中,数据的传输会产生很大的io,此时对map输出的文件进行压缩,能降低io,提高shuffle的效率 set hive.exec.compress.intermediate=true; set hive.intermediate.compression.codec=org.apache.hadoop.io.compr原创 2022-03-16 21:49:46 · 975 阅读 · 0 评论 -
Hive编译流程
步骤 Hive的编译主要经过以下几个步骤 Parser(解析器) Semantic Analyzer(语义分析器) Logical Plan Gen(逻辑计划生成) Logical Optimizer(逻辑优化器) Physical Plan Gen(物理计划生成) Physical Optimizer(物理优化器) 细节 Hive SQL经过Parser变成AST(Abstract Syntax Tree抽象语法树); AST经过Semantic Analyzer变成QB(Query Block查询原创 2022-03-08 22:30:48 · 1134 阅读 · 0 评论