利用pyhive将hive查询数据导入到mysql

本文介绍了如何利用Python的PyHive库将Hive查询结果导入到MySQL数据库。首先,解释了PyHive的作用,如远程执行Hive SQL和方便的数据处理。接着,详细说明了在Linux环境下安装PyHive及其依赖的步骤。然后,展示了如何连接Hive数据库并执行SQL。最后,讨论了在不同数据量情况下,PyHive相对于Sqoop的优势和适用场景,并提供了一段源码示例,演示了如何将Hive数据写入MySQL。
摘要由CSDN通过智能技术生成

在大数据工作中经常碰到需要将hive查询数据导入到mysql的需求,常见的方法主要有两种,一是sqoop,另一种则是pyhive。本文主要讲的就是python的pyhive库的安装与使用。

pyhive作用

  • 远程连接hive数据库,运行hive sql,而不需要登录到安装有hive的服务器上去
  • 可以更方便处理更多连续命令,可以封装一些经常需要复用的命令
  • 脚本化,不需要编译,随时改,随时执行看结果
  • 方便对hive sql的结果进行更多处理,而不是仅仅在终端打印出来看一看

安装环境

这里只讲解Linux环境,以ubuntu为例,其他系统类似

  • python 环境,我装的是python2 apt-get install python2.7
  • apt-get install python-dev
  • apt-get install libsasl2-dev
  • pip install sasl
  • pip install thrift-sasl
  • pip install PyHive

    注意不要漏装,否则报错,另外如果使用python3,则安装包的名字可能不一样,比如python3-dev

用法

连接hive数据库

conn=hive.Connection(host='xxx.xxx.xxx.xxx',   port=10000, database='database name', auth='NOSASL' )
cursor = conn.cur
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值