python处理完的df数据怎么快速写入mysql数据库表中？

最新推荐文章于 2024-05-22 21:11:33 发布
最新推荐文章于 2024-05-22 21:11:33 发布
阅读量950 收藏 9
点赞数 18
文章标签： 数据库 python mysql 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pdcfighting/article/details/136955414
版权

点击上方“Python爬虫与数据挖掘”，进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

京华结交尽奇士，意气相期共生死。

大家好，我是Python进阶者。

一、前言

前几天在Python最强王者交流群【哎呦喂  是豆子～】问了一个python处理完的df数据怎么快速写入mysql数据库表中问题。问题如下：

大佬们 python处理完的df数据怎么快速写入mysql数据库表中？   这个有没有什么可以参考的？ 一直报错DatabaseError: Execution failed on sql 'SELECT name FROM sqlite_master WHERE type='table' AND name=?;': not all arguments converted during string formatting。

d9acc91060c05c566efdb589b856bdb1.png

二、实现过程

这里【隔壁😼山楂】指出：你的pandas版本多少，不会是pandas已经不让pymysql直连的问题，我怎么看这个报错提示的是Sqlite的，你的mysql连接方式改成sqlalchemy的试试类似于【黑科技·鼓包】发的这张图里的。

d577fa9eb881ea8ced60750de0a8185a.png

【哎呦喂  是豆子～】：之前都是用 pymysql链接数据库取数出来处理的   sqlalchemy倒没怎么用过  我试试。pandas目前好像都提示mysql不用pymysql，用create_engine。有时候读取的时候告警 但是看数据都能读到 都没怎么去管他。

234dcffec392c28afb5b2d999aa41a61.png

【猫药师Kelly】和【此类生物】后来也给了一个思路：

9fa981ff272b9783e91df76288750b8f.png

顺利地解决了粉丝的问题。

如果你也有类似这种Python相关的小问题，欢迎随时来交流群学习交流哦，有问必答！

三、总结

大家好，我是Python进阶者。这篇文章主要盘点了一个python处理完的df数据怎么快速写入mysql数据库表中的问题，文中针对该问题，给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。

最后感谢粉丝【哎呦喂  是豆子～】提出的问题，感谢【隔壁😼山楂】、【猫药师Kelly】、【黑科技·鼓包】、【此类生物】给出的思路，感谢【莫生气】等人参与学习交流。

【提问补充】温馨提示，大家在群里提问的时候。可以注意下面几点：如果涉及到大文件数据，可以数据脱敏后，发点demo数据来（小文件的意思），然后贴点代码（可以复制的那种），记得发报错截图（截全）。代码不多的话，直接发代码文字即可，代码超过50行这样的话，发个.py文件就行。

eab65a1323a5995cd11aa348ef0c2e56.png

大家在学习过程中如果有遇到问题，欢迎随时联系我解决（Python进阶者微信：2584914241），应粉丝要求，我创建了一些ChatGPT机器人交流群和高质量的Python付费学习交流群和付费接单群，欢迎大家加入我的Python学习交流群和接单群！

f272847a73e072c973cede89ab87b04b.png

小伙伴们，快快用实践一下吧！如果在学习过程中，有遇到任何问题，欢迎加我好友，我拉你进Python学习交流群共同探讨学习。

41bdb673d7ade04d7f536c209fab0b7c.jpeg

------------------- End -------------------

往期精彩文章推荐：

5ab3e8919f4a21085360366ef070a111.png

欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群】

万水千山总是情，点个【在看】行不行

/今日留言主题/

随便说一两句吧~~

Python进阶者
关注
  • 18
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python pandas pandas数据写入数据库
m0_56315670的博客
02-19 3183
# 创建导包 import pymysql from pymysql.connections import Connection import pandas as pd # 连接数据库 connection = pymysql.connect( host='localhost', port=3306, user='root', password='123456', database='py' ) # 数据库操作 cursor=connection.cursor().
Python 读取千万级数据自动写入 MySQL 数据库
AI科技大本营
06-16 3818
作者 | python与数据分析来源 | 杰哥的IT之旅Python 读取数据自动写入 MySQL 数据库，这个需求在工作中是非常普遍的，主要涉及到 python 操作数据库，读写更新等，数据库可能是 mongodb、 es，他们的处理思路都是相似的，只需要将操作数据库的语法更换即可。本篇文章会给大家系统的分享千万级数据如何写入到 mysql，分为两个场景，三种方式。一、...
python用pandas将数据传入mysql数据库
最新发布
2401_84049017的博客
05-22 599
1.安装库2.编写python脚本。
多进程操作mysql，实现快速写入千万数据
u011283565的博客
07-27 1824
MySQL写入优化思路 MySQL的写入操作语句：sql = 'insert into table_name(column_name) values()'为了使插入速度变快，我们可以实行批量插入：sql = 'insert into table_name(column_name) values(v1),(v2),(v3),(v4),(v5);' 在python里就是拼接sql语句实现批量插入。 当然，python还有一种情景可以提高插入速度，那就是通过批量提交的方法，因为python操作MySQL是通过游标
Python之Pandas的常用技能【写入数据】
学习python
02-02 1万+
pandas对excel和数据的写入操作总结
python连接mysql并写入数据（简单爬虫）
lizhyangmm的博客
10-22 5069
python爬出数据，连接mysql，写入数据
Python数据分析：pandas读取和写入数据
m0_74942241的博客
05-31 3386
继续深入学习pandas相关操作，数据读取写入、分组、合并，转换等等。前面一篇文章里已经写了关于描述性统计以及常用的基本操作。接下来的一段时间里，我将陆续地去掌握并输出。这篇文章是关于数据读取与写入的知识点。平时工作中，我们会接触到不同的数据文件，比如很常见的excel文件(后缀名为xls和xlsx)，csv、txt等文本文件，json文件以及sql文件等等。
DatabaseError: Execution failed on sql ‘SELECT name FROM sqlite_master WHERE type=‘table‘ AND name=?
weixin_43425561的博客
11-15 1万+
pandas的to_sql有个隐藏的坑to_sql坑解决办法 to_sql坑 这个坑断断续续搞了我好几天，是数据库连接引起的，特意记下来，以助后来者。 大致步骤： 1.引用pandas和pyodbc 2.conn = pyodbc.connect(“DRIVER={ODBC Driver 17 for SQL Server};SERVER=” +host + “;DATABASE=” + db + “;UID=” + user + “;PWD=” +passwd) # 这里是连接mssql,连接变量是
使用python往MYSQL写入数据
G191018的博客
05-23 1141
使用python往MYSQL写入数据
如何将python中的数据存储到mysql中
青枫浦上不胜愁
06-03 5967
一、最基本的准备1.1 本地安装mysql，推荐安装以下其中之一1.2 安装python软件二、建立连接1.1打开PyCharm编程软件1.2 打开mysql软件，否则连接不上1.3 在python环境中下载PyMysql库1.4 连接数据库二、创建表格1.1 在python中创建表格1.2 在mysql中查看三、Python中MySQL数据库操作四、参数说明。
Python操作mysql数据库
caixiangting的博客
06-27 9873
关系型数据库：采用了关系模型来组织数据的数据库，如MySQL、PostgreSQL、Oracle数据库。非关系型数据库：以键值对存储，且结构不固定，可以减少一些时间和空间的开销，如MongoDB、Redis。
利用Python简单操作MySQL数据库，轻松实现数据读写
伤心的辣条
05-18 1771
本文介绍了PyMySQL的安装、连接MySQL数据库、创建表、插入数据、查询数据、更新数据和删除数据 等基本操作。通过学习本文，读者可以掌握使用PyMySQL进行MySQL数据库操作的基本方法。
使用python | panda读取excel文档数据并存入本地mysql
Archiena的博客
10-31 869
使用python | panda读取excel文档数据并存入本地mysql
python pandas to_sql 的用法
热门推荐
zoe的博客
10-11 4万+
网上使用pymysql或者MySQLdb，只能说是错误的，文档里边提供了说明跟一个例子 说明： 例子： 所以pandasto_sql的用法如下： import pandas as pd from sqlalchemy import create_engine conn = create_engine('mysql+mysqldb://root:...
【python】-python向MySQL写入数据
weixin_63106307的博客
03-30 1134
使用之前章节学习过的封装，定义两个封装类，data_xs.py：Record是定义数据的类"""数据定义的类"""def __init__(self, date, order_id, money, province): # 构造函数self.date = date # 订单日期self.order_id = order_id # 订单idself.money = money # 订单金额self.province = province # 销售省份"""文件相关的类定义"""
利用pandas将数据保存到MySQL数据库中（使用df.to_sql)
weixin_57005504的博客
07-26 6327
在做数据分析时，常常需要对数据分析的结果进行保存，而结果多为表格形式
【mysql+pandas】用MySQL命令处理在python中处理DataFrame数据 pandasql库
侯小啾技术博客
10-29 2671
【mysql+pandas】用MySQL命令处理在python中处理DataFrame数据 pandasql库
利用Python操作Mysql数据库
weixin_44617651的博客
04-24 1343
我们在进行Python编程的时候，时常要将一些数据保存起来，其中最方便的莫过于保存在文本文件了。但是如果保存的文件太大，用文本文件就不太现实了，毕竟打开都是个问题，这个时候我们需要用到数据库。提到数据库，相信大部分人都不会陌生，今天我们要学的就是数据库中小编自认为最棒的Mysql数据库了。
Python和MySQL对比（4）：用Pandas 实现MySQL的行列转换语法效果
明而决之
01-13 791
环境：windows11 64位Python3.9MySQL8本文主要介绍行列转换几个常见的行列转换问题在 Python 和 MySQL 的实现及语法对比，包含了：多列合并为一列、多行合并为一行、一列拆分为多列、一行拆分为多行、多行转多列、多列转多行。注：Python是很灵活的语言，达成同一个目标或有多种途径，我提供的只是其中一种解决方法，大家有其他的方法也欢迎留言讨论。
用python代码提取MySQL数据表中的数据，写入Excel
08-05
### 回答1： 可以使用pandas库中的read_sql函数来实现，示例代码如下： import pandas as pd import mysql.connector # 连接MySQL mydb = mysql.connector.connect( host="localhost", user="yourusername", passwd="yourpassword", database="yourdatabasename" ) # 读取MySQL中的数据表 df = pd.read_sql('SELECT * FROM yourtablename', con=mydb) # 将数据写入Excel df.to_excel('yourfilename.xlsx', index=False) ### 回答2： 要用python代码提取MySQL数据表中的数据并写入Excel，可以使用以下步骤和代码： 1. 首先，需要安装`pandas`、`openpyxl`和`mysql-connector-python`库。可以使用以下命令来安装： ``` pip install pandas openpyxl mysql-connector-python ``` 2. 导入必要的库： ```python import pandas as pd import mysql.connector from mysql.connector import Error ``` 3. 建立与MySQL数据库的连接： ```python try: connection = mysql.connector.connect( host='localhost', database='your_database_name', user='your_username', password='your_password', port='your_port_number' ) if connection.is_connected(): db_Info = connection.get_server_info() print("成功连接到 MySQL 版本：", db_Info) except Error as e: print("连接数据库时发生错误：", e) ``` 确保将`your_database_name`、`your_username`、`your_password`和`your_port_number`替换为实际的数据库信息。 4. 编写SQL查询语句并执行： ```python sql_query = "SELECT * FROM your_table_name;" data_frame = pd.read_sql(sql_query, connection) ``` 确保将`your_table_name`替换为实际的数据表名。 5. 将查询结果写入Excel文件： ```python excel_file = 'output.xlsx' data_frame.to_excel(excel_file, index=False) print("数据已成功写入Excel文件:", excel_file) ``` 可以将`output.xlsx`替换为要保存的文件路径和文件名。 完整的代码示例如下： ```python import pandas as pd import mysql.connector from mysql.connector import Error try: connection = mysql.connector.connect( host='localhost', database='your_database_name', user='your_username', password='your_password', port='your_port_number' ) if connection.is_connected(): db_Info = connection.get_server_info() print("成功连接到 MySQL 版本：", db_Info) sql_query = "SELECT * FROM your_table_name;" data_frame = pd.read_sql(sql_query, connection) excel_file = 'output.xlsx' data_frame.to_excel(excel_file, index=False) print("数据已成功写入Excel文件:", excel_file) except Error as e: print("连接数据库时发生错误：", e) finally: if (connection.is_connected()): connection.close() print("MySQL 连接已关闭") ``` 请确保正确填写数据库信息，并将`your_table_name`和文件路径适当替换为实际的数据表名和文件路径。运行代码后，将提取的数据写入Excel文件，并在控制台上显示相应的消息。 ### 回答3： 在Python中，可以使用`pandas`库操作MySQL数据库和Excel文件。以下是一个示例代码，可以将MySQL数据表中的数据提取出来，并写入Excel文件中： ```python import pandas as pd import pymysql # 连接到MySQL数据库 conn = pymysql.connect(host='localhost', port=3306, user='username', password='password', database='database_name') # 查询语句 query = "SELECT * FROM table_name" # 从数据库中读取数据 data = pd.read_sql(query, conn) # 关闭数据库连接 conn.close() # 写入Excel文件 data.to_excel('output.xlsx', index=False) ``` 请确保已经安装了`pandas`和`pymysql`库，可以通过以下命令安装： ``` pip install pandas pymysql ``` 在代码中，需要将`host`、`port`、`user`、`password`和`database_name`替换为实际的MySQL数据库连接信息。`table_name`替换为要提取数据的表名。数据将存储在名为`output.xlsx`的Excel文件中，如果文件不存在则会自动创建。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值