使用PyHive连接Hive数据仓库

PyHive是Python语言编写的用于操作Hive的简便工具库。

简单入门例子

from pyhive import hive

conn = hive.Connection(host='192.168.0.1',
                       port=10000,
                       auth="CUSTOM",
                       database='gld',
                       username='hive',
                       password='hive')
cursor = conn.cursor()
cursor.execute('select * from student limit 10')
for result in cursor.fetchall():
    print(result)
cursor.close()
conn.close()

输出：

('1', '孙悟空', '男', '18', '01')
('2', '明世隐', '男', '19', '01')
('3', '高渐离', '男', '20', '02')
('4', '孙尚香', '女', '21', '02')
('5', '安琪拉', '女', '22', '03')

其中，cursor.fetchall()返回一个list对象，并且list里每个元素都是一个tuple对象。

进阶

PyHive是通过与HiveServer2通讯来进行Hive数据的操作的。而Beeline原理也类似（使用的是Hive JDBC），所以当PyHive出现连接有问题时，应首先用Beeline检查服务器连接有没有问题。

beeline -u jdbc:hive2://192.168.0.1:10000

错误：
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.