hive on spark配置经验

  1. 常规配置配置完,开启hadoop,开启spark(如果在hdfs上上传了纯净版的spark则不需要开启),开启hive
    注:当前节点一定要是namenode的active节点,因为hadoop长时间不用namenode就需要格式化(删除hadoop下的data logs文件夹执行hdfs namenode -format)

  2. hive客户端运行sql报错,要学会看错误在哪里,hive的默认日志地址在/tmp/用户名下

  3. hive-site.xml文件中需要配置两个与spark连接的配置文件,没配置,你能够从报错的日志中找到

    hive.spark.client.connect.timeout 300000ms hive.spark.client.server.connect.timeout 300000ms
  4. 至于版本问题我用的hive-3.1.2 spark3.0.0

  5. 任何解决不掉的问题,重装hive100%解决

  6. 每次重新启动hive以后,第一条hive on spark都会很慢,且可能会报错,等待以及多尝试几次即可正常

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值