问题描述:hive配置成spark引擎,提交任务到yarn,执行SQL 能够正确的返回结果,但是执行完毕,任务的状态一直是running,并且占用的内存资源也不能够释放
问题分析:spark on hive本质是spark-shell.sh,spark-shell.sh会一直占用进程,这样后面提交的hive on spark任务就不需要重复上传spark依赖,加速任务执行速度
解决思路:如需执行mapreduce或者其他类型任务,切换其他队列或者强制结束spark进程
解决步骤:
hive]$ yarn application --kill applicationID
或者:hive (test)>SET mapreduce.job.queuename 队列名;