pyhive中 一些错误的地方

最新推荐文章于 2024-08-16 14:00:00 发布
最新推荐文章于 2024-08-16 14:00:00 发布
阅读量2.3k 收藏
点赞数 2
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yj1499945/article/details/54140621
版权

因为最近在用集群用到了hive python连接需要使用pyhive，但是这个包一直在报错 不存在tab_name和database_name，经过下午查源码发现了错误点


上面两处就是错误点需要改成下面的样子



这样子错误就消息了。这次修改仅限于0.2.1版本，因为后续应该会修好这个问题的。

鶸者为何战斗
关注
专栏目录
数据采集平台的架构设计
程序员光剑
08-04 2631
数据采集平台作为企业数据分析、处理的关键环节，在企业中扮演着至关重要的角色，但往往由于业务复杂、技术门槛高、软硬件成本等各种因素导致采集系统建设比较费力。如何设计一个具有可靠性、扩展性、安全性的数据采集平台是一个非常具有挑战性的问题。本文将从数据采集平台的功能需求出发，对数据采集平台的结构设计进行阐述。数据采集平台包括数据采集模块、数据存储模块、数据分析模块、数据展示模块、用户权限管理模块、数据质量管理模块等多个子模块。
python install sasl 报错 Microsoft Visual C++ 14.0 is required 等一系列错误
fairynini的博客
05-15 1307
问题： python连接hive需要sasl module 然后pip install sasl 失败，因为pip只会根据你的指示安装，不会安装所需的其他依赖包，因此频频报错。 报错信息： error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: https://visualstudio.microsoft.com/downloads. 按照其他博友的指示去安装了Microsof
python3 pyhive 链接hive异常
qq_41936769的博客
12-01 1759
org.apache.hive.service.cli.HiveSQLException:Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory 解决办法： 查看Hadoop安全模式： hadoop dfsadmin -safemode get Safe mode is OFF 虽然显示是关
关于使用python3中executemany函数，批量插入数据到hive报错pyhive.exc.ProgrammingError: No result set
路飞是我哥的博客
04-25 582
2.增加判断逻辑，跳过连接为hive时执行self._fetch_more()语句不返回任何行数据，所以没有结果集可以获取。（来自文心一言的解答）二、问题原因：如果你使用的是 PyHive 的游标对象来执行。创建hive表后，通过读取csv文件内容，批量写入数据到表。语句，并且之后尝试获取结果（比如使用。），你就会遇到这个错误。1.注释掉这段while循环。
超详细Python教程——Hive简介
最新发布
月流霜的专栏
08-16 849
Hive是 Facebook 开源的一款基于 Hadoop 的数据仓库工具，目前由 Apache 软件基金会维护，它是应用最广泛的大数据处理解决方案，它能将 SQL 查询转变为 MapReduce（Google提出的一个软件架构，用于大规模数据集的并行运算）任务，对 SQL 提供了完美的支持，能够非常方便的实现大数据统计。说明：可以通过来了解 Hadoop 生态圈。把 HDFS 中结构化的数据映射成表。
python向hive插入数据遇到的坑
hyf_c的专栏
09-20 6864
大数据体系python向hive插入数据遇到的坑 python向hive插入数据遇到的坑 因项目需求，应用python建模需要通过hive取数，并将结果写入hive表。 尝试了以下几条坑爹路，仅做记录如下： 通过impyla库搭建hive与python桥梁 1.1 环境配置的坑（回头放连接） 注: 远程访问hive一定要记得配置账号密码！！！报错：。。。-4.。。 1.2 一定不要用impyl...
通过py文件将文件中的数据导入到hive遇见的问题
大数据学习笔记
06-06 1391
因需要通过任务的方式执行将文本的数据导入到HIVE数据库中。所以考虑每次的任务通过命令执行py文件的方式来实现定时导入文件到HIVE数据库中。所以先做了一个测试，但是出行一些问题，现记录下来，供以后查看。测试脚本如下：# -*- coding: utf-8 -*-  from __future__ import print_functionfrom pyspark.sql import Spark...
python pymysql批量插入executemany，以及批量插入避免重复项
AaronFR的博客
01-19 7179
在进行大数据量插入时，使用execute效率很低。 所以改用executemany executemany(query,args) 　　能同时执行多条语句，执行同样多的语句可比execute()快很多，强烈建议执行多条语句时使用executemany 　　query: sql模板字符串, 例如 'insert into table(id,keyw...
安装hive出现的错误“hive: Permission denied”
qq_417174491的专栏
12-18 3504
今天试着去安装hive Hive的安装 1:  vi /etc/profile 在末尾加上exportHIVE_HOME=/usr/local/hive          export HOVE_CONF_DIR=/usr/local/hive/conf export PATH=$PATH:$HIVE_HOME/bin export HIVE_LIB=$HOVE_HOME/lib
[整理]使用Python远程连接和使用hive
yanpeng_info的博客
01-09 1979
[整理]使用Python远程连接和使用hive 参考文章 https://blog.csdn.net/Xiblade/article/details/82318294 https://stackoverflow.com/questions/40603714/hive-is-not-allowed-to-impersonate-hive https://pypi.org/project/impyla/ 远程连接hive，大致有如下几种方法： 使用beeline（基于SQLLine CLI的JDBC
关于Hive的授权研究
weixin_45076240的博客
10-15 761
关于Hive的授权研究 因为最近在学习hive的相关知识，就把最近看的一些资料总结了以下，使用的hive是3.1.2版本，应该是比较新的，所以如果文章有不对的地方，希望大佬指正。 Hive的权限控制 简介： Hive的真实数据存储在Hadoop的HDFS文件系统中，Hive构建逻辑表。 Hive的元数据存储在Mysql当中。 Hive有默认的Derby数据库，由于是内嵌的文件数据库，只支持一个用户的操作访问，支持多用户需用mysql保存元数据。并且存在找不到原有创建的数据库和表的信息，所以会将默认的Der
python访问hive数据库踩坑指南
IT_心如止水的博客
08-04 629
最近做数据ETL系统的更新，需要将原有ETL任务迁移到新的系统中，并验证数据的准确性。 目录 安装依赖包 核心代码 遇到的坑 依赖包版本 安装依赖包 因为本人电脑是win本，所以只能使用impyla连接；其他系统还可以使用PyHive包进行连接 pip install impyla pip install pure-sasl pip install thrift_sasl pip install thrift pip install sasl 注意点： 直接使用pi...
Presto性能调优的五大技巧
mnasd的博客
01-31 1807
Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。 Presto的架构分为： Coodinator：解析SQL语句，生成执行计划，分发执行任务给Worker节点执行。 Discovery Server：Worker节点启动后向Discovery Server服务注册，Coordinator从Discovery Server获得可以正常工作的Worker节点。 Worker：负责执行实际查询任务，访问底层存储系统。 存储：Presto...
使用pyhive:连接hive(python3+)
打卤的博客
03-19 1万+
1.安装相关依赖 sudo yum install cyrus-sasl-devel -y sudo yum install gcc-c++ -y pip3 install sasl pip3 install thrift pip3 install thrift-sasl pip3 install PyHive 2.连接hive查询数据 # -*- coding: utf-8 -*- fro...
python操作hive数据库代码_python连接hive操作数据库
weixin_39965794的博客
11-27 412
前言客户端连接Hive需要使用HiveServer2。HiveServer2是HiveServer的重写版本，HiveServer不支持多个客户端的并发请求。当前HiveServer2是基于Thrift RPC实现的。它被设计用于为像JDBC、ODBC这样的开发API客户端提供更好的支持。Hive 0.11版本引入的HiveServer2。Python客户端连接HiveServer2python中...
【pyhive】本地使用pyhive连接hive数据库踩的坑
象在舞的技术专栏
06-15 4494
OK，本文来看看本地在PyCharm中使用pyhive连接hive数据库时踩过的坑吧，先看看一眼小编的测试代码~ 首先是封装了一个连接hive获取数据的类，因为是测试，所以写的简单了些，如下： ''' @File : sql.py @Author: xzw @Date : 2020/6/14 @Desc : 封装类 ''' from pyhive import hive import pandas as pd class TestHive(object): ...
Python连接Hive(基于PyHive)
热门推荐
a6822342的博客
06-16 6万+
要想使用python连接hive，首先得下载以下几个包：   pip install sasl pip install thrift pip install thrift-sasl pip install PyHive   但是我们在安装sasl的时候可能会报错，导致安装不上，这个时候就得去sasl下载地址下载我们所需要的sasl，记得要和我们python版本匹配，我这里选择下载的是sa...
pyhive 创建一张成绩表
06-03
好的，我可以帮你创建一张成绩表。你可以使用 PyHive 中的 PyHive.Presto 连接到 Presto 数据库，并使用 SQL 语句创建表。以下是一个示例 SQL 语句来创建一个名为 grades 的成绩表： ``` CREATE TABLE grades ( id INT, name VARCHAR(50), subject VARCHAR(50), grade FLOAT ) ``` 你可以根据需要修改表的列名和数据类型。然后，你可以使用 PyHive 提供的 Presto 连接器来连接 Presto 数据库，并使用 execute() 方法执行 SQL 语句来创建表。下面是一个示例代码： ```python from pyhive import presto # 连接 Presto 数据库 conn = presto.connect(host='localhost', port=8080, username='your_username') # 创建成绩表 cursor = conn.cursor() cursor.execute(""" CREATE TABLE grades ( id INT, name VARCHAR(50), subject VARCHAR(50), grade FLOAT ) """) conn.commit() # 关闭连接 cursor.close() conn.close() ``` 这样，你就可以创建一张名为 grades 的成绩表了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值