前言
在折腾数据方面的整理分析业务,数据保存在Excel文件中,调用查看各种不方便。想着导入到Mysql数据库中。图形化操作,直观,方便,还简单。幸运的是Navicat自带了直接导入Excel文件的功能选项。麻烦的是,每次更新数据,需要手动清空旧数据重新操作一下导入流程。(后来发现,直接导入也可以,有更新替换的选项)
So,操作导入Excel的流程用久了也觉得有点繁琐。(谁让我这么懒呢)想着能做一个自动化脚本,直接一键导入数据,减少操作流程。
简单的想法是:逐行读取Excel的数据,在数据库中设定好主键字段,单条存入Mysql中,效率快一点的批量存入也是可行。这样是最普通的想法。代码的繁琐度会高一点。
找了找资料,Python的Pandas库在数据处理方面有着极强的优势,可以直接读取Excel,Dataframe结构能直接存入数据库,不用在做多余操作。OK就是你了。
异常汇总:
1.sqlalchemy的链接异常。
2.Dataframe数据结构异常。
解决异常
NO.1 sqlalchemy的链接异常。
Pandas中支持Dataframe直接存入Mysql的函数to_sql(),它的参数是这样的: