import jaydebeapi
# 连接到数据库
conn = jaydebeapi.connect('com.mysql.jdbc.Driver',
'jdbc:mysql://your_host:3306/your_database',
['your_user', 'your_password'],
'/path/to/mysql-connector-java.jar')
curs = conn.cursor()
# 执行查询,获取大量数据
curs.execute("SELECT * FROM your_table")
# 每一次获取1000行
batch_size = 1000
while True:
rows = curs.fetchmany(batch_size)
if not rows:
break # 没有更多数据时退出循环
# 处理每一批数据
for row in rows:
# 对每一行数据进行处理
# ...
print(row)
# 关闭连接
conn.close()