Linux环境下 python安装hive和impala以及如何使用

环境说明

系统为:centos系统

在安装hive之前

更新pip并更换镜像,这样的目的是为了使下载速度变成光速下载。

pip install pip -U  
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple 

安装pyhive 

如果直接安装 pip install thrift-sasl , 会报错加上版本号就ok了。

pip install sasl
pip install thrift
pip install thrift-sasl==0.3.0
pip install PyHive

使用hive

import pandas as pd
from pyhive import hive
conn = hive.Connection(host='****', port=****, username='****', database='****')
cursor = conn.cursor()
sql_hive ="""
    select  *
    from table
    """
cursor.execute(sql_hive)
data = cursor.fetchall()
results = pd.DataFrame(data)
print(results.shape)

安装impala

在安装上面的基础上进操作

pip install impyla

使用impala

from impala.dbapi import connect as impala_connect
from impala.util import as_pandas
def impala_db(sql):
	conn = impala_connect(host ='****',port = ****)
	cur = conn.cursor()
	cur.execute(sql)
	results = as_pandas(cur)
	print(results.shape)
sql ="""
    SELECT *
    FROM table
    """
impala_db(sql)

 

发布了104 篇原创文章 · 获赞 68 · 访问量 5万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 精致技术 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览