hive.fetch.task.conversion参数
可以在hive,jdbc连接中添加该参数。hive查询对应的底层可以是MR任务,也可以是Fetch 任务即直接读取存储在目录下的文件。决定这个行为的参数是 hive.fetch.task.conversion。
- 当设置为none时表示所有任务都是生成MR任务
- 当设置成more时,不限定列,简单的查找select filter limit 都不生成MR任务,其他都生成MR任务。
设置需要灵活决定,当是简单查询时,我们可能想没必要生成MR直接跑就可以了,但是对于大表线性扫描查询速度会比较慢。
hive.execution.engine参数
可以在hive,jdbc连接中添加该参数。对于hive底层生成MR任务是使用MapReduce引擎还是tez引擎,需要通过该参数指定,默认是MapReduce引擎。如果要使用tez引擎设置为hive.execution.engine=tez。