收藏!用Python一键批量将任意结构的CSV文件导入MySQL数据库。

Python有很多库可以对CSV文件和Excel文件进行自动化和规模化处理。但是,使用数据库可以将计算机完成任务的能力提升成千上万倍!

那么问题来了,如果有很多个文件需要导入数据库,一个一个操作效率太低了,有没有批量处理的方法?

本文就来分享一下,如何通过 Python 将任意结构的CSV文件导入MySQL数据库。不管你的CSV文件存在哪里,也不管你的CSV文件有几个字段。用下面的代码,都可以实现一键批量导入!

数据源:本文以贵州茅台(600519)、古井贡酒(000596)、口子窖(603589)三个上市公司的资金流向历史交易数据为例(起止日期:2001-8-27至2020-1-23,相关数据可以从网易财经下载)。同时手动新建了test1.csvtest2.csv两个测试CSV文件,用来测试程序的通用性。数据结构见下图:

资金流向历史交易数据.png

先来看看程序运行效果图:

运行动图演示.gif

我们再来查询下贵州茅台(600519)的所有数据:


可见,5 个 CSV 文件,结构不安全相同,共 1W+ 数据,导入 MySQL 数据库也就是几秒种的事情。比手动导入效率高太多了!

如果你有成千上万个 CSV 文件,用这个程序也就是一键操作,剩下的耐心等待就行。

下面就来分析下该程序的实现逻辑吧。

1. 连接 MySQL 数据库

操作之前,你必须完成安装并正确启动 MySQL 服务。如果还没有安装 MySQL,可以参考我的文章:7步完成MySQL配置,极简教程,还不来试试ÿ

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值