python 操作hive pandas 读写hive

安装准备（windows）

linux 直接安装pyhive即可 因为windows安装比较麻烦，牵扯到c++的插件之类的。所以建议windows用户不要去尝试pyhive，装上应该也用不了。尝试我用的方式。

1. python 3.6.2
2. bit_array
3. thriftpy
4. pure_sasl
5. thirft-sasl==0.2.1(注意如果是windows系统一定要用这个版本，并且去除依赖)

   pip3 install -i https://pypi.doubanio.com/simple/ --no-deps thrift-sasl==0.2.1
   

   注意一定要像我一样来安装
6. impyla
7. pyspark

执行sql

from impala.dbapi import connect
conn = connect(host='', port=10000, database='',auth_mechanism='PLAIN')
cur = conn.cursor()
cur.execute("show tables")
result = cur.fetchall()
print(result)

读取数据

    这里强烈推荐用pandas读取数据为dataframe，因为简单，并且pandas很强大几乎满足你想要运算的大部分操作

sql = "select * from table1"
df = pd.read_sql(sql, conn)

    需要注意一点的是，这时候的字段名是带表名的，比如你的表是 table1 字段名是id，这里面读的话会变成able1.id，需要做一些替换。

columns = df.columns
columns_dict = {column:column.split('.')[-1] for column in columns}
df.rename(columns=columns_dict,inplace=True)

安装可能遇到的问题

问题

TypeError: can’t concat str to bytes

解决办法

    修改 python site-package中的thrift-sasl包init.py文件，在第94行前加上一个判断：

if (type(body) is str):
    body = body.encode()

存写数据

    向hive里存数据现在一般分为三种，

    第一种是通过hdfs先上传文件到集群，再写进数据表。

    第二种是通过scoop命令写入，

     第三种跟第一种类似是通过flume监控文件到hdfs上，再写入hive。

    但是这两种方式都比较繁琐，虽然可以通过python执行shell脚本实现自动化。但是步骤比较多，如无必要。我们应该规避这种繁琐的步骤，而是单刀直入。

但是我们通过pyhive也好impla也好通过他们写入数据也不现实，毕竟数据集那么大。一是速度慢，而是会产生一堆小文件。

推荐的写入方式

    spark自从2.几版本之后就支持了python接口。所以我们可以通过pysaprk写入数据到hive表中，这个也是我比较这三种方法之后觉得是相对简单的一种方法。

配置

from pyspark import SparkContext
from pyspark import SparkConf
from pyspark.sql import SparkSession
conf = SparkConf().setMaster('local[*]').setAppName('pandas_to_hive')
sparksession = SparkSession.builder.config(conf=conf).getOrCreate()

写入

def insert_partition_table(data,dbname,table_name):
    df = sparksession.createDataFrame(data)
    df.registerTempTable('test_hive')
    sparksession.conf.set('hive.exec.dynamic.partition', 'True')
    sparksession.conf.set('set hive.exec.dynamic.partition.mode', 'nonstrict')
    sparksession.sql('use {}'.format(dbname))
    sparksession.sql('insert into {} partition(year,month) select * from test_hive'.format(table_name))

注意

spark2.x 之后就不太建议使用hivecontext，在spark3之后就完全不支持了。这里推荐大家使用sparksession 直接操作。