使用python&pandas读取hive数据

最新推荐文章于 2022-08-08 09:55:40 发布
最新推荐文章于 2022-08-08 09:55:40 发布
阅读量8.3k 收藏 27
点赞数 6
分类专栏： 大数据 python 文章标签： python hive pandas hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39198406/article/details/103500695
版权
本文介绍了在Python中读取Hive数据的方法，包括使用pyhive和impala两个第三方库的连接及注意事项。在实践中，pyhive在Windows上的安装遇到问题，而impala库提供了良好的跨平台支持。文章还分享了遇到的错误及其解决方案。
摘要由CSDN通过智能技术生成

0 引子

最近需要在python服务端实现读取hive数据的功能，本以为会比较容易实现，结果因为需要同时支持在Linux（部署）和windowns（开发）上运行，稍微费了一番功夫查询和尝试。

1 支持hive的第三方包

在网上稍微搜索了一下，支持python连接到hive的第三方包有pyhive、pshs2、impala。

GitHub参考链接
pyhive => https://github.com/dropbox/PyHive
pyhs2 => https://github.com/BradRuderman/pyhs2
impala => https://github.com/cloudera/impyla

但是pyhs2的作者已经停止维护了，所以可以使用另外两种方式。

2 使用pyhive连接hive

pyhive的文档很详细，要注意的有两点：

  1. 安装的时候如果提示sasl安装失败，可以手动在UCI镜像站中下载。
  2. windowns系统上无法安装成功，各种依赖和协议的错误，查了很多issue未能解决。

官方提供四种连接方式，分别是DB-API，DB-API (asynchronous)，SQLAlchemy，Passing session configuration。文档很详细。

from pyhive import presto  # or import hive
cursor = presto.connect(host='192.168.10.10',port=10000).cursor
最低0.47元/天 解锁文章
Nick_Spider
关注
  • 6
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pandas读取hive配置教程
qq_43662627的博客
08-03 1889
之所以要使用pandas读取hive的数据，是在于pandas的数据处理能力很强，当然也可以使用sparksql处理，但如果要使用结果图表展示的话，建议还是使用pandas，当然如果上到集群的层面，sparksql是比较好的选择 废话少说，上代码 ** @[toc] 1. 安装依赖` ** pip install pyhive pip install thrift pip install sasl pip install thrift_sasl 如果你是就会发现sasl安装失败，如果你在windows平台
python读取hive数据库
qq_24173131的博客
11-11 2308
其中sasl安装较为麻烦一点，在Linux下直接安装可能会出现sasl.h头文件丢失问题，原因是sasl的源码已经许久没有维护了，代码结构与现有的代码结构不一样，下面分别给出win及Linux下的安装方法。首先是配置相关的环境及使用的库。如果存在sasl.h头文件问题，可以通过pip安装libsasl2-dev包，再安装sasl。下载好相关库后，我们直接上代码。，版本选择适合自己的即可。注意不要漏装，否则报错。
python读取 hive数据
luoganttcc的博客
08-03 754
import pandas as pd import re from impala.dbapi import connect from impala.util import as_pandas from impala.dbapi import connect import json,sys from datetime import datetime conn=connect(host='127.0.0.1', port=21050, database='ods',timeout = 30) cursor=
python读取hive的数据
weixin_43806056的博客
04-10 1352
python连接hive 需要将python代码放到linux上运行 在window上至今测试不通连接hive from pyhive import hive conn=hive.Connection( host=‘192.168..’, port=10000, database=‘test’) cursor=conn.cursor() cursor.execute(‘select * from ...
python读取hive数据库mapreduce_hive(基于mapreduce)的使用
weixin_39781363的博客
01-30 602
一：数据表建立(一)创建数据库hive>create database hadoop;hive> use hadoop;数据库位置在hdfs://ns1/user/hive/warehouse/hadoop.db目录下(二)建表hive> create table t_order(id int,name string,container string,price double...
python处理数据,存进hive表的方法
09-20
在处理数据并将其存储进Hive表的过程中，使用Python可以大大简化数据处理和迁移的流程。Hive是一个建立在Hadoop上的数据仓库工具，能够处理大规模数据的存储和查询。虽然Hive查询语言（HiveQL）允许用户执行SQL-like...
如何在python中写hive脚本
09-18
这段代码会读取`sql.sql`文件中的Hive查询，并将结果转化为Pandas DataFrame。 2. **执行Hive语句** 如果是单条Hive查询语句，可以通过`os.system`或`os.popen`执行。例如： ```python hive_cmd = 'hive -e ...
Python pandas 列转行操作详解(类似hive中explode方法)
09-16
本文将详细讲解如何在pandas中进行列转行的操作，类似于Hive中的explode方法，这对于处理包含列表或者数组的数据尤为有用。 首先，我们来看一个简单的例子。假设有一个DataFrame `df`，其中包含两列：`A` 和 `B`，`...
使用python进行数据分析.pptx
11-26
对于大数据，可以使用pyspark（Apache Spark的Python接口）或Dask这样的分布式计算框架，处理HDFS、Hive等分布式存储系统中的数据。 数据基本操作涉及数据的清洗、转换和预处理。例如，你可以对数据进行排序、选择...
在python中使用pyspark读写Hive数据操作
09-16
主要介绍了在python中使用pyspark读写Hive数据操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Hive集成Python分析数据
07-26
Hive;Hive;Hive;Hive;Hive;Hive;Hive;Hive;Hive;Hive;Hive;Hive
python 利用pyhive 导出excel
08-17
python 利用pyhive 连接hiveserver2，系统linux 系统，通过pd 导出excel
python读写hive
WangYouJin321的博客
08-08 1057
代码】python读写hive。
python 操作hive pandas 读写hive
达达的博客
07-21 8530
安装准备 python 3.7.2 bit_array thriftpy pure_sasl thirft-sasl==0.2.1(注意一定要用这个版本，并且去除依赖) impyla 执行sql from impala.dbapi import connect conn = connect(host='', port=10000, database='',auth_mechanism='PLAIN') cur = conn.cursor() cur.execute("show tables") 读取数
python 连接 hive 并读取数据
Kukafee的博客
05-27 1906
1. 连接hive类 DB_hive class DB_hive(object): def __init__(self, db, con_dict): """ 初始化说明 Args: db: hive中数据库名称 con_dict: hive链接信息字典 eg: {'host': '192.168.0.163', # 连.
python中pandas读取数据库
BabyBirdToFly的博客
11-09 1679
# -*- coding: utf-8 -*-    import pandas as pd import pymysql    ## 加上字符集参数，防止中文乱码 dbconn=pymysql.connect(   host="**********",   database="kimbo",   user="kimbo_t
python读取hive方案分析
大王来巡山的博客
03-06 8523
python读取hive方案对比 引言 最近接到一项任务–开发python工具，方便从HDFS读取文件和Hive表数据。当前网上的方案大多是通过第三方python包实现，只需导入指定pypi包即可完成，这种方案虽然在功能上具有可行性，但是当数据量级增大时，读取数据效率低下，无法满足业务场景需要，为此需调研其他方案实现python读取Hive表功能。
五种使用python储存数据的方式
热门推荐
李谦的博客
10-13 11万+
在python编程开发中，总是不可避免的遇到数据储存的问题，下面就介绍python与几种数据储存方式交互的方法。 json文件 json是一种轻量级的数据交换格式。采用完全独立于编程语言的文本格式来存储和表示数据。层次结构简洁而清晰，易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。 最主要的是，通过json这个包可以很方便的解决无论是py2还是p
在python中如何用pandas读取数据库数据和文件数据，如hive、oracle、csv等？
最新发布
02-07
首先，您需要安装好pandas和必要的数据库驱动程序。 接着，您可以使用pandas中的read_sql函数来从数据库读取数据。这需要您提供一个SQL查询和一个连接字符串。 举个例子，如果您想要从Hive中读取数据，您可以这样做： ```python import pandas as pd from pyhive import hive # Connect to the Hive server conn = hive.Connection(host='hostname', port=10000, username='user') # Execute a query and read the results into a DataFrame df = pd.read_sql('SELECT * FROM my_table', conn) # Close the connection conn.close() ``` 对于其他数据库，您需要使用适当的驱动程序来建立连接。比如，要连接到Oracle数据库，您可以使用cx_Oracle库： ```python import pandas as pd import cx_Oracle # Connect to the Oracle dsn = cx_Oracle.makedsn('hostname', 1521, 'service_name') conn = cx_Oracle.connect('username', 'password', dsn) # Execute a query and read the results into a DataFrame df = pd.read_sql('SELECT * FROM my_table', conn) # Close the connection conn.close() ``` 对于读取文件数据，pandas提供了许多函数，如read_csv、read_excel和read_json等。比如，如果您想要读取一个CSV文件，可以使用read_csv函数： ```python import pandas as pd # Read a CSV file df = pd.read_csv('file.csv') ``` 如果您想要读取一个Excel文件，可以使用read_excel函数： ```python import pandas as pd # Read an Excel file df = pd.read_excel('file.xlsx', sheet_name='Sheet1
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值