大量数据 导入_pandas大量数据快速导入mysql

pymysql读写数据库简直是龟速,pandas自带的to_sql让我怀疑是不是系统直接卡死了。

在网上找到一个大神包,配合pd几秒钟导入十几万数据,分享一下。

import pandas as pd
from sqlalchemy import create_engine 
#上面的复制就行
#读数据
pd.read_excel(r'C:Users13067Desktop汇总表.xlsx',sheet_name = '汇总')
#连接引擎
conn = create_engine('mysql+mysqldb://root:123@localhost/detail?charset=utf8')
写入数据库
pd.io.sql.to_sql(df1,'汇总1',con=conn,schema='detail',if_exists='append',index
                 =False)
#关闭
conn.dispose()

强大之处就是直接把pd处理好的数据导入,速度贼快~

表结构要预先在mysql里面做好,detail为数据库名(写两次),root 123 账号密码,localhost服务器,可以改成你想要写入的服务器ip ,exist 有三类参数,append,fail,repalce。

一般第一次用都会报错ModuleNotFoundError: No module named 'MySQLdb'

如果是win就直接 pip install mysqlalche 再运行一次就ok了

bbdf525e7050ce8f735ea6c11fefb626.png
  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值