第一部分 hive运行模式介绍
1、 本地模式(local model)
1.1、 所有任务,都是运行再一个进程里面的,不通过mapreduce
1.2、 方便hive客户端测试(跑得快)
1.3、 如果设置为true,hive框架会自动根据需要处理的数据大小,去决定是否跑本地模式。默认情况就是跟你的Block大小去决定。处理的数据<128Mb或者MapTask个数< 5个,跑本地
2、 集群模式(Yarn)
每个maptask和reducetask都各自运行再一个JVM中,每个任务都是一个进程
第二部分 hive本地模式设置方式
方式一:hive客户端设置(仅本次会话有效)
set hive.exec.mode.local.auto=true;
方式二:hive-site.xml配置文件中
所有会话,所有程序都生效