温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
1.文档编写目的
继上一章讲述如何在CDH集群安装Anaconda&搭建Python私有源后,本章节主要讲述如何使用Pyton Impyla客户端连接CDH集群的HiveServer2和Impala Daemon,并进行SQL操作。
- 内容概述
1.依赖包安装
2.代码编写
3.代码测试
- 测试环境
1.CM和CDH版本为5.11.2
2.RedHat7.2
- 前置条件
1.CDH集群环境正常运行
2.Anaconda已安装并配置环境变量
3.pip工具能够正常安装Python包
4.Python版本2.6+ or 3.3+
5.非安全集群环境
2.Impyla依赖包安装
Impyla所依赖的Python包
- six
- bit_array
- thrift (on Python 2.x) orthriftpy (on Python 3.x)
- thrift_sasl
- sasl
1.首先安装Impyla依赖的Python包
[root@ip-172-31-22-86 ~]# pip install bit_array
[root@ip-172-31-22-86 ~]# pip install thrift==0.9.3
[root@ip-172-31-22-86 ~]# pip install six
[root@ip-172-31-22-86 ~]# pip install thrift_sasl
[root@ip-172-31-22-86 ~]# pip install sasl
注意:thrift的版本必须使用0.9.3,默认安装的为0.10.0版本,需要卸载后重新安装0.9.3版本,卸载命令pip uninstall thrift
2.安装Impyla包
impyla版本,默认安装的是0.14.0,需要将卸载后安装0.13.8版本
[root@ip-172-31-22-86 ec2-user]# pip install impyla==0.13.8
Collecting impyla
Downloading impyla-0.14.0.tar.gz (151kB)