python读取hive的数据

python连接hive

需要将python代码放到linux上运行
在window上至今测试不通连接hive
from pyhive import hive
conn=hive.Connection(
host=‘192.168..’,
port=10000,
database=‘test’)
cursor=conn.cursor()
cursor.execute(‘select * from t2’)
for result in cursor.fetchall():
print result
cursor.close()

在linux运行之前，前提条件：
安装好python环境（我用的2.7）
安装好pip（方便下载模块）

wget https://bootstrap.pypa.io/get-pip.py

python get-pip.py

查看版本pip -V
如果pip -V，出现notfound，把pip加到环境变量

安装pyhive

pip install pyhive

安装thrift

pip install thrift

安装sasl之前执行下面命令：

yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64

安装sasl

pip install sasl

安装thrift_sasl

pip install thrift_sasl

安装pyhive[hive]

pip install pyhive[hive]

安装cyrus-sasl-devel  cyrus-sasl-gssapi

yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

执行python XXX.py成功