spark-shell与spark-sql的访问hive

1.spark-shell的使用:

安装完spark之后,将spark/bin的路径配置到本地文件,即可不需要进入spark/bin目录下启动任务

1)直接打开,运行以下命令会发现无法访问hive表的数据:

spark-shell --master local[2]

spark.sql("show tables").show()

2)将hive/conf目录下的hive-site.xml文件拷贝到spark/conf目录下(且添加参数“hive.metastore.schema.verification”的值为“true”,这样做的目的是使得进入spark客户端时不报版本不匹配错误;但是不添加也是可以正常运行的)

随后运行命令:

spark-shell --master local[2] --jars jar/mysql-connector-java-5.1.27-bin.jar

此处jars后面的参数是mysql的jar包所在的路径

再后即可调用sql命令,并得到结果:

spark.sql("select * from stu").show()

spark.sql("selec
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值