针对spark项目中,联系hive,运用hiveContext连接hive,出现数据无法load问题

问题描述:请看

hc.sql("load data local inpath '/tmp/links' overwrite into table links1")#导入本地数据到表 links1中

出现:

无法识别路径问题:ns1无法被识别

解决:

 因为是高可用模式,无法识别路径,此时需要导入hadoop的hdfs-site.xml和core-site.xml文件;

第一步:在spark的conf目录下 cp一个:

    mv spark-defaults.conf spark-defaults.xml

第二步:里面添加如下代码:

spark.file file:///opt/programs/spark/spark-1.6.3-bin-hadoop2.6/conf/hdfs-site.xml,file:///opt/programs/spark/spark-1.6.3-bin-
hadoop2.6/conf/core-site.xml

路径是该文件的路径,因为我是将那两个文件直接copy到所写目录,所以是如上路径

问题解决!!!!!!!!!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值