Pandas读取Excel文件,存入Mysql踩坑汇总

前言  在折腾数据方面的整理分析业务,数据保存在Excel文件中,调用查看各种不方便。想着导入到Mysql数据库中。图形化操作,直观,方便,还简单。幸运的是Navicat自带了直接导入Excel文件的功能选项。麻烦的是,每次更新数据,需要手动清空旧数据重新操作一下导入流程。(后来发现,直接导入也可以,有更新替换的选项)  So,操作导入Excel的流程用久了也觉得有点繁琐。(谁让我这么懒呢)想着能做一个自动化脚本,直接一键导入数据,减少操作流程。  简单的想法是:逐行读取Excel的数据,在数据库中设
摘要由CSDN通过智能技术生成

前言

  在折腾数据方面的整理分析业务,数据保存在Excel文件中,调用查看各种不方便。想着导入到Mysql数据库中。图形化操作,直观,方便,还简单。幸运的是Navicat自带了直接导入Excel文件的功能选项。麻烦的是,每次更新数据,需要手动清空旧数据重新操作一下导入流程。(后来发现,直接导入也可以,有更新替换的选项)
  So,操作导入Excel的流程用久了也觉得有点繁琐。(谁让我这么懒呢)想着能做一个自动化脚本,直接一键导入数据,减少操作流程。

  简单的想法是:逐行读取Excel的数据,在数据库中设定好主键字段,单条存入Mysql中,效率快一点的批量存入也是可行。这样是最普通的想法。代码的繁琐度会高一点。

  找了找资料,Python的Pandas库在数据处理方面有着极强的优势,可以直接读取Excel,Dataframe结构能直接存入数据库,不用在做多余操作。OK就是你了。

异常汇总:
1.sqlalchemy的链接异常。
2.Dataframe数据结构异常。

解决异常

NO.1 sqlalchemy的链接异常。

  Pandas中支持Dataframe直接存入Mysql的函数to_sql(),它的参数是这样的:

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 您可以使用`pandas`的`to_sql()`方法将数据存入MySQL数据库中。以下是步骤: 1. 首先,您需要安装`pandas`和`pymysql`库,您可以使用以下命令安装: ``` pip install pandas pymysql ``` 2. 导入必要的库: ```python import pandas as pd import pymysql from sqlalchemy import create_engine ``` 3. 建立到MySQL数据库的连接: ```python # 创建连接 db_connection = create_engine('mysql+pymysql://username:password@host:port/database_name') ``` 其中,`username`和`password`分别是您的MySQL数据库的用户名和密码,`host`是MySQL数据库所在的主机名或IP地址,`port`是MySQL数据库的端口号,`database_name`是您要将数据存储的MySQL数据库的名称。 4. 加载数据到`pandas`数据帧: ```python df = pd.read_csv('data.csv') # 将数据加载到数据帧中 ``` 其中,`data.csv`是您要存储到MySQL数据库中的数据文件的名称。 5. 将数据帧中的数据存储到MySQL数据库中: ```python df.to_sql(name='table_name', con=db_connection, if_exists='replace', index=False) ``` 其中,`name`是您要将数据存储到的MySQL数据库表的名称,`con`是与MySQL数据库的连接,`if_exists`是指如果表已存在,将如何处理它。'replace'表示如果表已存在,则删除该表并重新创建它,`index`参数是指是否将数据帧的索引存储为MySQL数据库表中的一列。 以上是将`pandas`中的数据存储到MySQL数据库的基本步骤。 ### 回答2: 将pandas中的数据存入MySQL数据库的方法如下: 首先,需要确保已经安装了pandas和pymysql这两个库。 1. 首先,导入需要的库: ```python import pandas as pd from sqlalchemy import create_engine ``` 2. 读取数据到pandas的DataFrame对象中: ```python df = pd.read_csv('data.csv') # 以CSV格式为例,也可以是其他格式的数据文件 ``` 3. 连接数据库: ```python engine = create_engine('mysql+pymysql://username:password@host:port/database', echo=True) ``` 其中,username是数据库用户名,password是密码,host是主机名,port是端口号,database是数据库名。echo=True表示打印执行的SQL语句。 4. 将DataFrame中的数据导入到数据库表中: ```python df.to_sql(name='table_name', con=engine, if_exists='replace', index=False) ``` 其中,name是表名,if_exists='replace'表示如果表已存在则替换掉,index=False表示不保存索引。 完整的代码如下: ```python import pandas as pd from sqlalchemy import create_engine # 读取数据到DataFrame对象 df = pd.read_csv('data.csv') # 连接数据库 engine = create_engine('mysql+pymysql://username:password@host:port/database', echo=True) # 将数据导入到数据库表中 df.to_sql(name='table_name', con=engine, if_exists='replace', index=False) ``` 以上就是将pandas中的数据存入MySQL数据库的方法。 ### 回答3: 要将pandas中的数据存入MySQL数据库,可以按照以下步骤进行操作: 1. 导入所需的库: ``` import pandas as pd from sqlalchemy import create_engine ``` 2. 创建数据库连接: ``` engine = create_engine('mysql+pymysql://username:password@host:port/database_name') ``` 其中,username是数据库的用户名,password是密码,host是数据库服务器的地址,port是服务器端口号,database_name是要连接的数据库名称。 3. 将pandas DataFrame数据写入MySQL数据库: ``` df.to_sql('table_name', con=engine, if_exists='replace', index=False) ``` 其中,df是要存入数据库pandas DataFrame,table_name是要存入的表名,con是数据库连接对象,if_exists='replace'表示如果表已经存在则替换表。 如果想要追加数据到已经存在的表中,可以将if_exists的值设为'append'。 4. 关闭数据库连接: ``` engine.dispose() ``` 最后需要关闭数据库连接,释放资源。 这样就可以将pandas中的数据存入MySQL数据库了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值