Pycharm下连接hive的两种方式!!解决各种姿势报错

window pycharm下用spark连接hive操作数据
一、

  1. 在/opt/soft/spark234/conf下导入hive-site.xml

二、

  1. 把mysql的驱动包mysql-connector-java-5.1.38.jar拖入/opt/soft/spark234/jars

三、

  1. sbin下 ./start-all.sh 启动spark服务
  2. bin下 ./pyspark 开启软件

四、

  1. 执行命令 df = spark.sql(“select * from dws_events.dws_temp_uf_infos
    limit 3”); df.show()

  2. 成功表示:Linux下spark连接hive成功

五、

  1. window下解压spark包
  2. 在linux下的conf下内容全部拷贝到window下的conf中
  3. 把conf下的hive-site.xml中的地址改成虚拟机的地址 在jar包中导入mysql驱动(mysql-connector-java-5.1.38.jar)

六、

  1. window下配置环境变量
  2. 创建
    SPARK_HOME
    E:\spark-2.3.4-bin-hadoop2.6 配置path路径
  3. path下 %SPARK_HOME%\bin

七、

  1. 跳过第六步 可以通过参数设置
    .config(“hive.metastore.uris”,“thrift://192.168.133.195:9083”)

八、
配置环境变量方式代码如下:


                
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值