关于使用python3中executemany函数,批量插入数据到hive报错pyhive.exc.ProgrammingError: No result set

本文讲述了在使用PyHive执行INSERT语句后无法获取结果的问题,原因是INSERT不返回行数据。提供了两种解决方案:注释while循环和在执行和遍历数据时添加判断逻辑。并通过测试用例展示了如何通过CSV文件批量写入Hive表并避免Kerberos认证问题。
摘要由CSDN通过智能技术生成

一、函数源码贴图:

二、问题原因:如果你使用的是 PyHive 的游标对象来执行 INSERT 语句,并且之后尝试获取结果(比如使用 cursor.fetchall() 或 cursor.fetchone()),你就会遇到这个错误。这是因为 INSERT 语句不返回任何行数据,所以没有结果集可以获取。(来自文心一言的解答)

三、解决方案:

1.注释掉这段while循环

2.增加判断逻辑,跳过连接为hive时执行self._fetch_more()

开头增加依赖导入(注意别放在最开头)
from pyhive import hive

executemany函数中增加判断逻辑,注释原来的
while self._state != self._STATE_FINISHED and not isinstance(self._connection, hive.Connection):

四、测试用例

创建hive表后,通过读取csv文件内容,批量写入数据到表

1.建表
CREATE TABLE stu_info (
    id INT,
    name STRING,
    age INT
);

2.生成csv文件代码
import csv

def generate_csv(filename, data):
    with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
        writer = csv.DictWriter(csvfile, fieldnames=data[0].keys())
        writer.writeheader()
        writer.writerows(data)

# 示例数据
data = [
    {"id": 1, "name": "Alice", "age": 30},
    {"id": 2, "name": "Bob", "age": 35},
    {"id": 3, "name": "Charlie", "age": 40}
]

# 生成 CSV 文件
generate_csv('data.csv', data)

3.批量入表代码(未开Kerberos)
from pyhive import hive
import pandas as pd

# Hive 连接配置
hive_host = 'xxx'
hive_port = 10000  # 默认端口为 10000
hive_username = 'xxx'
hive_password = 'xxx'
hive_database = 'xxx'

# 连接 Hive
conn = hive.Connection(host=hive_host, port=hive_port, username=hive_username, password=hive_password, database=hive_database, auth='CUSTOM')

# 创建游标
cursor = conn.cursor()
cursor._connection

# 批量插入数据
data = pd.read_csv('./data.csv')
insert_query = '''
INSERT INTO stu_info (id, name, age) VALUES (%s, %s, %s)
'''
#列表中元素转为元组
tuple_list = [tuple(x) for x in data.values.tolist()]
#print(tuple_list)
cursor.executemany(insert_query, tuple_list)
# cursor.executemany(insert_query, [(1, 'Alice', 30), (2, 'Bob', 35), (3, 'Charlie', 40)])
#for row in data.values.tolist():
 # cursor.execute(insert_query, row)

# 提交和关闭连接
conn.commit()
conn.close()

  • 8
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值