python读取hive数据库

VIP文章 已于 2022-11-11 10:19:35 修改
阅读量2.2k 收藏 2
点赞数
文章标签： hive 数据库 大数据
于 2022-11-11 09:48:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24173131/article/details/127799830
版权

在大数据工作中经常碰到需要将hive查询数据导入到mysql的需求，常见的方法主要有两种，一是impala，另一种则是pyhive。

一、pyhive方式连接hive数据库

首先是配置相关的环境及使用的库。sasl、thrift、thrift_sasl、pyhive。

 其中sasl安装较为麻烦一点，在Linux下直接安装可能会出现sasl.h头文件丢失问题，原因是sasl的源码已经许久没有维护了，代码结构与现有的代码结构不一样，下面分别给出win及Linux下的安装方法。https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl

windows下：

1.下载sasl安装文件，进行离线安装sasl,下载网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl，版本选择适合自己的即可。

2.安装:

pip install sasl-0.2.1-cp36-cp36m-win_amd64.whl
pi

最低0.47元/天 解锁文章
rains0701
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
使用python&pandas读取hive数据
李谦的博客
12-11 8312
0 引子 最近需要在python服务端实现读取hive数据的功能，本以为会比较容易实现，结果因为需要同时支持在Linux（部署）和windowns（开发）上运行，稍微费了一番功夫查询和尝试。 1 支持hive的第三方包 在网上稍微搜索了一下，支持python连接到hive的第三方包有pyhive、pshs2、impala。 GitHub参考链接 pyhive => https://gith...
regxml_extractor:将 Windows 注册表配置单元转换为描述性 XML 格式
07-13
这些蜂巢的 RegXML 表单也被转换为 SQLite 数据库，确保 XML 可以被 Python 读取。 详细记录此过程中任何步骤的错误。 测试环境 该程序已在多个 Unix/Linux 环境中进行测试。 测试的环境基本上是： CentOS 软呢帽...
使用Python读写Hive：简化大数据处理的利器
CDA数据分析师
07-09 864
随着大数据时代的到来，对于数据的存储和处理需求日益增长。而Python作为一种流行的编程语言，拥有丰富的数据处理库和易用性，成为许多数据科学家和工程师的首选。通过使用Python读写Hive，我们可以更轻松地进行数据处理、转换和分析，同时利用Python丰富的库和工具生态系统，提供更多的功能和灵活性。简化大数据处理：Python作为一种易学易用的编程语言，与Hive的结合简化了大数据处理的过程。通过使用Python的数据处理库和语法，我们可以更轻松地对Hive中的数据进行处理、转换和分析。
Python连接hive数据库小结
热门推荐
qq_40304090的博客
08-27 1万+
前言 做大数据分析及应用过程中，时常需要面对海量的数据存储及计算，传统的服务器已经很难再满足一些运算需求，基于hadoop/spark的大数据处理平台得到广泛的应用。本文介绍用python读取hive数据库的方式，其中还是存在一些坑，这里我也把自己遇到的进行分享交流。 基本情况 集团有20台服务器（其中1台采集主节点，1台大数据监控平台，1台资源监控） ...
python读取hive方案分析
大王来巡山的博客
03-06 8256
python读取hive方案对比 引言 最近接到一项任务–开发python工具，方便从HDFS读取文件和Hive表数据。当前网上的方案大多是通过第三方python包实现，只需导入指定pypi包即可完成，这种方案虽然在功能上具有可行性，但是当数据量级增大时，读取数据效率低下，无法满足业务场景需要，为此需调研其他方案实现python读取Hive表功能。
python读写hive
WangYouJin321的博客
08-08 1021
代码】python读写hive。
整理了一些t-sql技巧
Wind_Lam的专栏
10-31 504
MS-SQL数据库开发常用汇总 1.按姓氏笔画排序:Select * From TableName Order By CustomerName Collate Chinese_PRC_Stroke_ci_as 2.数据库加密:select encrypt(原始密码)select pwdencrypt(原始密码)select pwdcompare(原始密码,加密后密码) = 1--相
python hive批量获取_python 写hive循环脚本
weixin_39621495的博客
12-09 337
1 importos, sys2 reload(sys); sys.setdefaultencoding( "utf-8")3 flag_server = int(os.popen('ifconfig | grep "inet addr:172" | wc -l').read().strip())4 dir_scripts = '/app/home/zhangb/' if flag_server ...
在python中使用pyspark读写Hive数据操作
09-16
主要介绍了在python中使用pyspark读写Hive数据操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
spark-ais-multi:使用 SparkSQL 导入、分区和查询 AIS 数据
06-24
Hive 位于数据库中，并从其自己的容器中提供服务。 临时导入过程在另一个容器中执行，该容器从映射到主机文件系统的卷中读取数据。 记录根据其数据/时间字段进行解析和分区，并使用多输出写入器写入 HDFS。 最后， ...
python 利用pyhive 导出excel
08-17
python 利用pyhive 连接hiveserver2，系统linux 系统，通过pd 导出excel
Hive集成Python分析数据
07-26
Hive;Hive;Hive;Hive;Hive;Hive;Hive;Hive;Hive;Hive;Hive;Hive
leetcode算法题主函数如何写-myinterview:记录我的面试过程，技术栈：python、golang、MySQL、redis、大数
06-30
数据库MySQL和redis； 计算机系统linux； 计算机网络； leetcode刷题 大数据mapreduce、spark、hive和数仓等； 参考资料。 前言 面试中常见的问题汇总： 自我介绍； 你对加班的看法？ 你对薪资的要求？ 为什么要离职...
SparkSql和DataFrame实战.docx
06-01
Spark SQL还可以用于从现有的Hive安装中读取数据。有关如何配置此功能的更多信息，请参考Hive表格部分。当从另一种编程语言中运行SQL时，结果将作为DataFrame返回。您还可以使用命令行或jdbc/odbc来与SQL接口进行...
python连接hive
Tobbyzhang23的博客
06-14 1650
1、下载pyhive、thrift和sasl三个包（pip install就好）2、目前遇到的问题： sasl安装问题：（1）sasl安装需要到相关网站下载whl之后找到和python适配的版本进行安装，安装网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#saslhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl 安装完这个把他放在放入你的终端目录里面去，之后用pip install xxx.whl（2
Python操作Hive数据仓库
最新发布
Java/Python/大数据干货分享
10-09 1304
sasl模块是Python中用于实现SASL（Simple Authentication and Security Layer）认证的第三方库，提供了对各种SASL机制的支持，例如与Kafka、Hadoop等进行安全通信。Thrift是一个轻量级、跨语言的RPC框架，主要用于服务间的RPC通信。由于Hadoop集群节点间使用RPC通信，所以需要配置Thrift依赖环境。Python连接Hive需要使用Impala查询引擎。查找需要的whl文件，点击下载对应版本。开启Hive的JDBC服务。
【python链接hive并提取数据】
Silenceyezi的博客
01-04 2371
在工作中我们经常会用到数据库中的数据，接下来我们就学习一下，如何快速的从python中读取hive库中的数据 1、安装包 首先我们安装一下python链接hive的包impyla，在impyla包安装的时候，就直接将其依赖的包thrift、pure-sasl、thrift_sasl都安装好了 pip install impyla 2、链接hive数据库并提取数据 1）提取全部数据/一条数据 conn = connect(host = '172.16.211.30', port = 10000, user
python操作hive
qq_42392337的博客
11-14 2560
python操作hive时报错： TTransportException: Bad status: 3 (b'Error validating the login')
python读取hive表
05-20
使用Python操作Hive表需要安装pyhive和thrift模块，可以使用以下命令进行安装： ``` pip install pyhive pip install thrift ``` 然后，使用以下代码连接到Hive服务器并读取表： ```python from pyhive import hive import pandas as pd # 连接到Hive服务器 conn = hive.Connection(host="localhost", port=10000, username="your_username") cursor = conn.cursor() # 选择要查询的表 cursor.execute("USE your_database") cursor.execute("SELECT * FROM your_table") # 获取查询结果 columns = [desc[0] for desc in cursor.description] results = cursor.fetchall() df = pd.DataFrame(results, columns=columns) # 关闭连接 cursor.close() conn.close() # 打印结果 print(df.head()) ``` 其中，需要替换`localhost`为你的Hive服务器地址，`your_username`为你的用户名，`your_database`和`your_table`为要查询的数据库和表名。查询结果将以Pandas DataFrame的形式返回。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值