一、函数源码贴图:
二、问题原因:如果你使用的是 PyHive 的游标对象来执行 INSERT
语句,并且之后尝试获取结果(比如使用 cursor.fetchall()
或 cursor.fetchone()
),你就会遇到这个错误。这是因为 INSERT
语句不返回任何行数据,所以没有结果集可以获取。(来自文心一言的解答)
三、解决方案:
1.注释掉这段while循环
2.增加判断逻辑,跳过连接为hive时执行self._fetch_more()
开头增加依赖导入(注意别放在最开头)
from pyhive import hive
executemany函数中增加判断逻辑,注释原来的
while self._state != self._STATE_FINISHED and not isinstance(self._connection, hive.Connection):
四、测试用例
创建hive表后,通过读取csv文件内容,批量写入数据到表
1.建表
CREATE TABLE stu_info (
id INT,
name STRING,
age INT
);
2.生成csv文件代码
import csv
def generate_csv(filename, data):
with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.DictWriter(csvfile, fieldnames=data[0].keys())
writer.writeheader()
writer.writerows(data)
# 示例数据
data = [
{"id": 1, "name": "Alice", "age": 30},
{"id": 2, "name": "Bob", "age": 35},
{"id": 3, "name": "Charlie", "age": 40}
]
# 生成 CSV 文件
generate_csv('data.csv', data)
3.批量入表代码(未开Kerberos)
from pyhive import hive
import pandas as pd
# Hive 连接配置
hive_host = 'xxx'
hive_port = 10000 # 默认端口为 10000
hive_username = 'xxx'
hive_password = 'xxx'
hive_database = 'xxx'
# 连接 Hive
conn = hive.Connection(host=hive_host, port=hive_port, username=hive_username, password=hive_password, database=hive_database, auth='CUSTOM')
# 创建游标
cursor = conn.cursor()
cursor._connection
# 批量插入数据
data = pd.read_csv('./data.csv')
insert_query = '''
INSERT INTO stu_info (id, name, age) VALUES (%s, %s, %s)
'''
#列表中元素转为元组
tuple_list = [tuple(x) for x in data.values.tolist()]
#print(tuple_list)
cursor.executemany(insert_query, tuple_list)
# cursor.executemany(insert_query, [(1, 'Alice', 30), (2, 'Bob', 35), (3, 'Charlie', 40)])
#for row in data.values.tolist():
# cursor.execute(insert_query, row)
# 提交和关闭连接
conn.commit()
conn.close()