spark和hive集成

最新推荐文章于 2022-04-10 11:11:25 发布

weixin_34025151

最新推荐文章于 2022-04-10 11:11:25 发布

阅读量85

点赞数

文章标签：大数据 python

原文链接：https://my.oschina.net/u/2253438/blog/1581106

版权

2019独角兽企业重金招聘Python工程师标准>>>

  spark-hive集成：
    将hive-site.xml拷贝到spark的conf目录下也可以创建软连接（ln -s /usr/local/devtools/cdhbigdata/cdhhive/hive-0.13.1-cdh5.3.6/conf/hive-site.xml）

    更具hive.metastore.uris选择不同的方式：
    1:hive.metastore.uris配置了：启动hive的metastore服务 hive --service metastore &
    2:hive.metastore.uris没有配置：将hive元数据驱动拷贝到spark的classpath中即可

  集成测试
  ./bin/spark-sql
  show databases;

  webUI
  http://xupan001:4040/jobs/

转载于:https://my.oschina.net/u/2253438/blog/1581106