python连接Impala(Hive)

最新推荐文章于 2023-09-19 20:51:55 发布
最新推荐文章于 2023-09-19 20:51:55 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： 错误调试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dyk2013/article/details/97128331
版权
本文介绍了在Python 3.6环境下连接Impala（Hive）时遇到的错误及解决方法，包括安装相关包、降低某些包的版本、解决sasl报错问题等步骤。
摘要由CSDN通过智能技术生成

python 连接Impala相关问题

安装相应的包

参考这篇：http://www.mamicode.com/info-detail-1843724.html
我的python是3.6版本，自己选择相应的包下载

报错解决

上面装完不出意外运行会报错：
impyla (0.14.0) ERROR - 'TSocket' object has no attribute 'isOpen'

解决办法如下(降低包版本）：

pip uninstall thrift-sasl
pip uninstall impyla
pip uninstall thrift

pip install thrift-sasl==0.2.1 
pip install thrift==0.9.3
pip install impyla==
最低0.47元/天 解锁文章
Dopang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
python3.5连接hive(impala)
a200822146085的博客
08-21 428
环境 python 3.5 win 7 一、按照以下顺序安装所需的包及版本： pip install pure-sasl pip install thrift_sasl==0.2.1 --no-deps pip install thrift==0.9.3 pip install impyla pip install thriftpy这里是引用 二、安装完成之后 测试连接： --------...
python 连接hive_tkGo - 使用Python连接Impala
weixin_39781599的博客
12-09 337
一、背景使用Python，打通Impala通道，实现取数自动化，或是作为数据分析的数据源。二、Apache Impalaimpala框架图Impala是一个开源的，基于Hadoop的分析型数据库。Impala可以查询存储在HDFS或者HBase中的数据。Impala通过专用分布式查询引擎，绕过MapReduce直接访问数据，查询性能远高于Hive。三、impyla基于HiveServer2 实现的...
使用python、impala连接hive
Yuan_CSDF的博客
11-21 482
from impala.dbapi import connect from impala.util import as_pandas conn = connect(host=‘10.10.14.18’, port=10000, auth_mechanism=‘LDAP’, user=‘liuyuan’, password=‘1234@abc’) cursor = conn.cursor() cur...
python通过impala连接hive总结
爱美食的Geek
02-04 7628
一.原理 脚本环境：windows 集群环境：centos6.8 通过在windows上使用python定时任务脚本执行大数据任务。采用了impala库查询，将查询到的结果存储到本地mysql数据库中。 重点：impala库安装 pip安装依赖： thrift thriftpy thrift_sasl pure_sasl impyla bitarray 开启hadoop集群 start-all...
【impala】python通过kerberos连接impala操作hive，及解决遇到的问题
Mrerlou的博客
05-19 1602
参考文章：https://blog.csdn.net/qq_31922231/article/details/98056113 并总结了遇到的问题 一、环境信息 组件 版本 python 2.7 cdh 5.13 kerberos true 二、安装相关包及配置 python相关依赖包 pip install krbcontext==0.9 pip install thrift==0.9.3 pip install thrift-sasl==0.2.1 pip instal
Python连接Impala实现步骤解析
09-16
首先，要实现Python连接到Impala，我们需要一个名为`impyla`的库，它是Python与HiveServer2（包括Impala和Hive）交互的客户端。安装`impyla`库可以通过Python的包管理器`pip`来完成： ```bash pip install impyla `...
python3.6链接hive和impala的所有依赖包.zip
07-10
在Python 3.6环境下，连接到Hive和Impala数据库需要一系列的依赖包，这些依赖包涵盖了数据处理、网络通信、数据库接口等多个方面。在本文中，我们将深入探讨这些必要的依赖及其作用。 首先，Hive是Apache软件基金会...
python连接hive kerberos_python操作具有kerberos认证的hive（impala）
weixin_42386511的博客
12-24 2105
▌前言python中用于连接HiveServer2的客户端有3个：pyhs2，pyhive，impyla。官网的示例采用的是pyhs2，但pyhs2的官网已声明不再提供支持，建议使用impyla和pyhive。我选择的python2.7和impala，运行环境Linux、Windows。▌安装依赖(默认已安装好python2.7、pip)pipinstallsaslpipinstallth...
Python 连接 Hive & Impala
最新发布
lq1205990816的博客
09-19 625
thrift_sasl-0.3.0 #仅支持hive，连接impala报错。IDE工具：pycharm。#指定从清华源安装指定版本。#查询已经安装的版本。
Python连接Hive/Impala
wachoo的blog
02-02 508
目前Pyhive和impyla不太兼容，需要选择合适的版本 PyHive==0.6.2 SQLAlchemy==1.3.18 impyla==0.15a1 pandas==1.0.5 thrift==0.13.0 thrift-sasl==0.4.2 thriftpy2==0.4.0 一、impala连接 def get_current_engine(self): host = self._hive_write_conn_conf.get("host") p
python 3.6使用 impala连接hive遇到的问题
midosunn的专栏
01-31 4780
 用python3 用implala连接hive中遇到的一下问题。其中的报错主要参考了： https://blog.csdn.net/Xiblade/article/details/82318294 https://blog.csdn.net/wx0628/article/details/86550582 https://blog.csdn.net/woay2008/article/deta...
python连接hive读取数据并转为DataFrame时报错记录（报错：keyError：24）
zkkkkkkkkkkkkk的博客
04-30 2834
目录 一、连接hive并读取数据 二、定位问题 三、解决问题 因工作需要，需要将sq读取到的数据转为pandas的DataFrame时引发的异常，反复检查了数据是没有问题的。最终定位到应该是数据类型导致pandas转换失败，具体原因如下文所示。 报错信息如下：KeyError : 24 一、连接hive并读取数据 表中存有两列数据：时间、日期。格式为int类型。现在需要将日期和时间拼接起来，读入到......
Python连接hive数据中遇到的各种坑
weixin_38507462的博客
08-01 2828
这里选择的是使用：impala+Python3.6来连接hive数据库 from impala.dbapi import connect from impala.util import as_pandas conn = connect(host='192.168.118.118', port=10000, user='root', database='default', password='root', auth_mechanism ='PLAIN') cursor = conn.cursor().
python使用impyla连接hive和impala(安装部署)
hustMsn的专栏
01-17 1189
https://www.cnblogs.com/dotafeiying/p/6956265.html
【Python】Python连接Hadoop数据中遇到的各种坑（汇总）
wx0628的博客
01-19 1万+
最近准备使用Python+Hadoop+Pandas进行一些深度的分析与机器学习相关工作。（当然随着学习过程的进展，现在准备使用Python+Spark+Hadoop这样一套体系来搭建后续的工作环境），当然这是后话。 但是这项工作首要条件就是将Python与Hadoop进行打通，本来认为很容易的一项工作，没有想到竟然遇到各种坑，花费了整整半天时间。后来也在网上看到大家在咨询相同的问题，但是真正解决...
python 出现 type object 'xxxxx' has no attribute 'xxxx'，什么原因
热门推荐
weixin_39947046的博客
08-19 2万+
from datetime import datetime class Asset(object): share=0 buyTime=datetime.strpdatetime('2018-08-18','%Y-%m-%d') sellTime=datetime.strpdatetime('2018-08-19','%Y-%m-%d') def __init__(...
python连接到hive
05-16
要在 Python 中连接到 Hive，可以使用 PyHive 库。这个库可以与 HiveServer2 和 Impala 进行通信。以下是一个简单的示例： 1. 安装 PyHive 库 ```python pip install PyHive ``` 2. 导入所需的模块 ```...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值