PYTHON访问hive数据,并返回DataFrame代码封装

之前写过py访问oracle的代码,这次在之前的基础上加工而成,把过程记录下来,方便日后查阅!

def pyVisitHive(params ,sql_text):
    from pyhive import hive
    import pandas as pd
    conn=hive.Connection(host = params.get('ip'), 
                         port = params.get('port'), 
                         username = params.get('username'), 
                         database = params.get('database'), 
                         auth = params.get('auth'),
                         password = params.get('password')) 
    cursor=conn.cursor()
    cursor.execute(sql_text)
    #data=pd.DataFrame(cursor.fetchall())
    # 读取字段列名
    index = cursor.description
    row = list()
    for i in range(len(index)):
    	row.append(index[i][0])
      #获取返回信息
    data = cursor.fetchall()
    result = pd.DataFrame(list(data), columns = row)
      #关闭连接,释放资源
    cursor.close()
    conn.close()
if __name__=="__main__":
    import pandas as pd
    import numpy as np
    params = {'ip' : 'IP地址',
              'port': '端口'     ,
              'username':'用户名',
              'database':'数据库名',
              'password':'密码',
			  'auth':'CUSTOM'}
	sql_text :'select * from  表名'		  
    data_df = pyVisitHive(params , sql_text)
  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值