Python 使用executemany批量向mysql插入数据

本文介绍了一种通过Python的pymysql模块实现MYSQL数据库批量插入的方法,这种方法能够显著提高数据插入效率,尤其适用于需要大量数据导入的场景。

 

目录

源码

总结


 

试想一种情况? 假如有很多格式相同的数据需要插入MYSQL数据库,但是如果一条一条插入那样就太消耗性能与时间了?

于是我们选择批量插入可是应该怎么利用好这个批量插入语句(executemany)呢?

下面就上代码

源码

#传入3个列表
def mysql_r_w(title_all, href_all, content_all):
    # 连接数据库
    conn = pymysql.connect(user='root', password='123456', database="pythondb")
    # 加载游标
    curs = conn.cursor()
    # 创建数据库语句
    sql = "create DATABASE IF NOT EXISTS pythonDB DEFAULT CHARSET utf8 COLLATE utf8_general_ci;"
    # 执行语句
    curs.execute(sql)
    # 插入数据,%s不能加引号!!!

    sql_1 = "insert into API_py(title,href,content) values(%s,%s,%s)"

    #获取列表长度
    length = len(title_all)
    #新建一个列表,用于整合数据
    data_all = []
    for i in range(length):
        temp = (title_all[i], href_all[i], content_all[i])
        data_all.append(temp)

    print(data_all)
    #采用字符串形式插入
    try:
        curs.executemany(sql_1, data_all)
        conn.commit()
    #出错时回滚
    except:
        conn.rollback()
    print(curs)
    curs.close()
    conn.close()


title_all, href_all, content_all = [], [], []
mysql_r_w(title_all, href_all, content_all)

总结

在使用executemany的字符串方式插入值时,即 curs.executemany(sql_1, data_all)的第2个参数要求是元组或者是列表都可以,所以我们在插入之前需要将所有数据整合在一个列表或元组中然后将其一口气插入,OK,打完收工

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

桂亭亭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值