配置Hive on Spark

需求场景

对hive进行记录数统计以及获取ddl语句均需通过spark engine，配置Hive on Spark予以支持。

工作流程

1. 添加spark服务；
2. 配置需要使用spark的hive：Spark On YARN Service选项选择已创建的spark服务并保存；
3. 配置完成后顺序执行如下操作关闭hive、spark服务，重启YARN服务，然后启动spark，hive服务
4. 客户端使用需先执行spark引擎设置语句：set hive.execution.engine=spark

操作步骤

安装spark service

1. 登录Cloudera Manager 如：http://172.16.50.21:7180/
   
2. 
3. 
4. 
5. 
6. 
7. 

8. 

    

   配置hive

9. 

10. 

    重启服务

11. 
12. 
13. 
14. 
15. 
16. 

验证配置

1. 通过ssh登录hive节点服务器，进入hive终端

   

2. 设置engine：set hive.execution.engine=spark

   

3. 执行相应sql,正确得到结果，如：select count(*) from table;

   

参考资料

cdh官方配置hive on spark：https://www.cloudera.com/documentation/enterprise/5-10-x/topics/admin_hos_oview.html#concept_i22_l1h_1v

cdh添加service：https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_mc_add_service.html#cmug_topic_5_1

转载于:https://my.oschina.net/yaofull/blog/2966964