python通过impala连接hive总结

一.原理

脚本环境:windows
集群环境:centos6.8
通过在windows上使用python定时任务脚本执行大数据任务。采用了impala库查询,将查询到的结果存储到本地mysql数据库中。
在这里插入图片描述
重点:impala库安装

pip安装依赖:
thrift
thriftpy
thrift_sasl
pure_sasl
impyla
bitarray
开启hadoop集群 start-all.sh
开启hive server2并在后台运行
hive --service metastore &
hive --service hiveserver2 &

测试脚本:

# 导入连接工具
from impala.dbapi import connect
# 得到连接,
conn = connect(host='192.168.127.128', port=10000, auth_mechanism='PLAIN',user="root",password="root",database="default")
# 得到句柄	
cursor = conn.cursor()
# 执行查询
cursor.execute('show databases')
print(cursor.fetchall())
# 将结果放入dataframe中显示
# 关闭连接
cursor.close()
conn.close()

二.问题总结

1.时区出现问题
Note: System times on machines may be out of sync. Check system time and time zones.
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
**
在这里插入图片描述
**
出现Note: System times on machines may be out of sync. Check system time and time zones.可能是虚拟机异常关闭导致虚拟机集群中的时间不一致。
centos6修改时间
date -s 20121019
date -s 23:40:00

2.connect() 失败:错误编号 = 10061
出现此问题:注意以下几点:
1》已安装正确的驱动程序。
2》已选择适当的端口。
3》已选择正确的 Hive 服务器(HiveServer 或 HiveServer2)。

3.TypeError: can’t concat str to bytes
定位到错误的最后一条,在init.py第94行(标黄的部分):

header = struct.pack(">BI", status, len(body))
#按照网上的提供的办法增加对BODY的处理
if (type(body) is str):
    body = body.encode()
self._trans.write(header + body)
self._trans.flush()

三.参考

使用impala连接hive踩坑过程:https://www.cnblogs.com/always-fight/p/11887808.html
win10 Python3.6连接hive:https://blog.csdn.net/jojosir/article/details/83472531

要使用Python连接Hive,你可以使用两种不同的库:pyhive和impyla。下面是使用这两个库的示例代码: 使用pyhive连接Hive的示例代码如下: ```python from pyhive import hive import pandas as pd # 创建Hive连接 conn = hive.Connection(host='10.16.15.2', port=10000, username='hive', database='user') cur = conn.cursor() # 执行查询语句 sql = "select * from user_huaxiang_wide_table" cur.execute(sql) # 获取查询结果并转换为DataFrame df = pd.DataFrame(cur.fetchall()) # 关闭连接 cur.close() conn.close() # 打印查询结果 print(df) ``` 使用impyla库连接Hive的示例代码如下: ```python from impala.dbapi import connect import pandas as pd # 创建Hive连接 conn = connect(host='10.16.15.2', port=10000, auth_mechanism='PLAIN', user='hive', password='user@123', database='user') cur = conn.cursor() # 执行查询语句 sql = "select * from user_huaxiang_wide_table limit 100" cur.execute(sql) # 获取查询结果并转换为DataFrame df = pd.DataFrame(cur.fetchall()) # 关闭连接 cur.close() conn.close() # 打印查询结果 print(df) ``` 这两种方法都可以连接Hive并执行查询语句,然后将结果转换为DataFrame进行处理。你可以根据自己的需求选择其中一种方法来连接Hive。 #### 引用[.reference_title] - *1* *2* [Python连接hive数据库小结](https://blog.csdn.net/qq_40304090/article/details/108263224)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [python 连接 hive](https://blog.csdn.net/zhenyangzhijia/article/details/48694721)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

没读过书的孩子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值