HIVE配置参数优化
一、hive配置参数原理
Hive的工作原理简单的说就是一个查询引擎,接收到一个SQL后,会把SQL转化为MapReduce、Spark或者其他执行引擎的Job。所以它的配置参数,除了作用于自身,有的也会转换为后续执行引擎的配置参数。有时可以携带执行引擎的参数,比如mapred.output.compress,这是Hadoop的参数。
二、hive配置参数作用范围
和其他所有框架一样,hive的配置信息也是划分层级的,就近原则
如果是使用java api进行操作,则代码中配置优先级最高,然后是java项目中配置文件,然后是hive安装目录中的配置文件
如果是shell 客户端进行操作,则hive指令中参数优先级最高,然后是shell客户端启动时的配置信息,然后是hive安装目录中配置。
三、常用的hive参数
四、一些说明
Hive的MapJoin机制
MapJoin是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用
MapJoin的原理:
即在map 端进行join,其原理是broadcast join,即把小表作为一个完整的驱动表来进行join操作。通常情况下,要连接的各个表里面的数据会分布在不同的Map中进行处理。即同一个Key对应的Value可能存在不同的Map中。这样就必须等到 Reduce中去连接。要使MapJoin能够顺利进行,那就必须满足这样的条件:除了一份表的数据分布在不同的Map中外,其他连接的表的数据必须在每 个Map中有完整的拷贝。MAPJOIN会把小表全部读入内存中,在map阶段直接拿另外一个表的数据和内存中表数据做匹配,由于在map是进行了join操作,省去了reduce运行的效率也会高很多。
MapJoin适用的场景:
mapjoin的适用场景如关联操作中有一张表非常小,.不等值的链接操作。通过上面分析你会发现,并不是所有的场景都适合用MapJoin. 它通常会用在如下的一些情景:在二个要连接的表中,有一个很大,有一个很小,这个小表可以存放在内存中而不影响性能。这样我们就把小表文件复制到每一个Map任务的本地,再让Map把文件读到内存中待用。
MapJoin的实现方法:
1)在Map-Reduce的驱动程序中使用静态方法DistributedCache.addCacheFile()增加要拷贝的小表文件,。 JobTracker在作业启动之前会获取这个URI列表,并将相应的文件拷贝到各个TaskTracker的本地磁盘上。
2)在Map类的setup方法中使用DistributedCache.getLocalCacheFiles()方法获取文件目录,并使用标准的文件读写API读取相应的文件。
Hive版本区别:
Hive内置提供的优化机制之一就包括MapJoin。
在Hive v0.7之前,需要给出MapJoin的指示,Hive才会提供MapJoin的优化。Hive v0.7之后的版本已经不需要给出MapJoin的指示就进行优化。它是通过如下配置参数来控制的:hive> set hive.auto.convert.join=true;hive 0.11之后,在表的大小符合设置时(hive.auto.convert.join.noconditionaltask=true,hive.auto.convert.join.noconditionaltask.size=10000,hive.mapjoin.smalltable.filesize=25000000), 默认会把join转换为map join(认 hive.ignore.mapjoin.hint为true,hive.auto.convert.join为true),不过hive0.11的 map join bug比较多,可以通过在默认关闭map join convert,在需要时再设置hint:hive.auto.convert.join=false 。hive.ignore.mapjoin.hint=false.Hive v0.12.0版本,缺省状况下MapJoin优化是打开的。也就是hive.auto.convert.join=true。Hive还提供另外一个参数–表文件的大小作为开启和关闭MapJoin的阈值,hive.mapjoin.smalltable.filesize=25000000。
五、参考
Hive 配置参数官网说明
https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties