hive的本地模式

Hoodoop处理数据时,数据量小,可能会出现启动任务的mr时会比实际处理任务的时间长,Hive可以通过本地模式使用单机来处理所有的任务,对于小的数据量,执行时间会少很多.

设置 hive.exec.mode.local.auto 为true ,让hive在适当的时候启用本地模式,会减少小数据的执行时间

参数:

//开启本地模式 mr
set hive.exec.mode.local.auto=true;
//设置 local mr 的最大输入数据量，当输入数据量小于这个值时采用 local mr 方式，默认为 134217728，即 128M ,机器好的话,可以调高一点
set hive.exec.mode.local.auto.inputbytes.max=134217728;
//设置 local mr 的最大输入文件个数，当输入文件个数小于这个值时采用 local mr 的方式，默认为 4,可以调大一点
set hive.exec.mode.local.auto.input.files.max=4;