python操作hive和mysql实现大数据分析（上）

由于hive查询结果是不能直接保存到mysql的，通常用python驱动hiveserver2，也利用python将结果保存到mysql。

需要的包

网上百度，搜到的包不外乎下面3个，这里用第二个。

1、pyhs2,已没有更新维护
https://github.com/BradRuderman/pyhs2

2、pyhive
https://github.com/dropbox/PyHive

3、impyla
https://github.com/cloudera/impyla

我们选择pyhive

安装基本顺利，安装过程如下：

1 2 3

# 这个不装会报错，会有错误提示 pip install thrift pip install pyhive

你以为安装完了吗，连接hive时报错：

1	ImportError: No module named sasl

提示，需要安装sasl

1 2 3 4 5

pip install sasl # 我在不同版本安装发现，有的linux系统可能不会报错 # 如果安装sasl报错报错，则执行下面语句 yum install cyrus-sasl-devel saslwrapper

stackoverflow问题及回答地址：https://stackoverflow.com/questions/37452024/install-thrift-sasl-for-python-in-windows

还是报错，错误提示：

1	ImportError: No module named thrift_sasl

需要安装thrift_sasl

1	pip install thrift-sasl

按照错误提示，一步一步，到这里，pyhive就安装好了。

夜深了，用法待更。。。

点击【阅读原文】，有惊喜！