pandas批量写入到mysql_基于python,pandas,pymysql 将数据批量高效写入mysql数据库（保证可以用的那种）...

最新推荐文章于 2024-08-19 10:52:43 发布
最新推荐文章于 2024-08-19 10:52:43 发布
阅读量1.6k 收藏 6
点赞数 2
文章标签： pandas批量写入到mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42683394/article/details/113230461
版权
本文介绍了如何使用Python的pandas和pymysql库，通过批量处理数据，高效地将数据写入MySQL数据库。文中详细阐述了从文件读取、数据处理、数据库连接到数据插入的全过程，适用于需要批量处理数据库操作的场景。
摘要由CSDN通过智能技术生成

编程界的小学生一枚，主要使用语言为python，平时要和数据打交道，还有erp系统相关以及web开发等等，有时间就会分享下工作中遇到的那点事，包括那些让我焦虑的问题，包括我自己总结的小技巧，那些程序优化重构的实现，还有可能包括程序性能优化，以及源码的阅读等等···在荆棘的道路上逆风前行

本文基于python, pandas, pymysql实现了向数据库中批量插入数据的脚本，一方面提供给被网上很多瞎转载的答案给坑蒙了的人(因为我也是)，一方面自己也做个笔记，以后方便查阅

文章目录

需求原因

版本库信息

逻辑梳理

分步实现及分析

读取文件

文件的拼接及计算

初始化连接

对应接口转换数据

将数据写入数据库

检查数据库是否插入成功

完整代码

需求原因

最近在处理一个需求，有关批量往数据库插入数据的，描述如下

原来的程序是基于sql的存储过程进行数据的更新修改操作，这样的结果就是对数据库压力太大，于是需要将程序重构为用python读取文件的方式将数据做计算处理，减少这部分的压力，最后仅仅将计算的结果重新更新到数据库中就可以了，减少了极大的压力，也降低了成本。涉及数据库主要是插入及更新操作

版本库信息

这个脚本是基于linux系统写的

三方库 pandas 1.0.5, pymysql 0.9.3

python版本 3.7

标准库 os

逻辑梳理

实际上，最后一步，要写入数据库的文件数据是存储在内存中的。因为读取文件后进行的计算都是在内存中进行的，那么计算的结果也没必要再写到本地，再去读取，再写入数据库,这是会影响程序的效率的

读取文件

文件的拼接及计算，生成新的df

初始化数据库的连接

将df所需数据转换为元组数据(取决于数据库的三方库的接口是如何支持批量操作的)

将数据写入数据库

检查数据库内容即可

分步实现及分析

读取文件

给文件路径，然后去读文件就行了，强调一下需要注意的点

绝对路径: 这种最简单，直接给路径字符串就行了，但是一旦文件夹目录结构变化，就需要频繁的改

相对路径: 我一般喜欢先在脚

最低0.47元/天 解锁文章
海四
关注
pandas批量写入到mysql_使用Pandas批量读取CSV文件并写入MySQL
weixin_42467508的博客
01-19 1174
最近在尝试分析骑行数据，发现电脑在执行统计分析一些维度的数据时比较慢，很不方便实时的验证想法，寻思最终都以Matplotlib画图呈现，就考虑把数据写入MySQL，然后通过查询结果作图，也方便后续分析其它问题，所以就有了这篇分享。使用Python读取CSV文件并写入MySQL的方法比较多，比如使用Pandas的to_sql方法，或者读取CSV之后批量写入MySQL，而本文分享的是逐条读取&...
pandas插入mysql库_pandas数据保存至Mysql数据库
weixin_39907658的博客
12-19 545
原标题：pandas数据保存至Mysql数据库因为最近又在写爬虫，所以想把爬到的数据(dataframe格式)存在mysql里终于在今天下午成功了小试牛刀 注：需要你修改的部分：(1)db是你本地数据库的名称(你用自己本地的数据库名称)(2)password是你本地数据库的密码这里我创建了一个简单的df用于测试： 结果运行成功： 本地数据库自动新建了一个test1表，数据成功写入，(我用的mysq...
Pandas大量Excel数据写入Mysql
yyz0126的博客
04-14 4032
项目场景： 提示：这里简述项目相关背景：最近ETL数据处理中需要把100多个excel导入的数据库（MySQL），但是excel的列是不一样的，如果手工粘贴的话，需要很多时间还可能遗漏。 例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大) 这些数据大小是200M内，100万行内 问题描述 提示：这里描述项目中遇到的问题：文件列数不同，且需要转换 例如：这个16列的 这个是17列的 同时还有其它列数的文件，这里不再列出 解决方案： 提示：这
【python基础】—利用pandas读取或写入mysql表数据
最新发布
sodaloveer的博客
08-19 1676
【python基础】—利用pandas读取或写入mysql表数据
python 使用pandas库读取excl文件并批量导入mysql
W0226tt的博客
03-18 2381
公司有下载接口，会进行数据下载保存成excl文件，本人利用python进行自动化下载和数据清洗，然后因为数据量有时特别大的原因，使用了mysql数据库进行数据处理，废话不多说，上代码 from datetime import datetime starttime = datetime.now() import time import pandas as pd import pymysql from datetime import datetime class MysqlAct(object):
python mysql pandas 批量插入数据(实现选择插入批次大小)
weixin_43592276的博客
09-17 1198
python pymysql dataframe批量插入数据(实现选择插入批次大小)
python3将csv数据写入mysql_将CSV文件写入到MySQL中（用Pandas库实现MySQL数据库的读写）...
weixin_30891153的博客
12-24 812
转载自公众号：python-china转载自公众号：python-china本次分享将介绍如何在Python中使用Pandas库实现MySQL数据库的读写。首先我们需要了解点ORM方面的知识。ORM技术对象关系映射技术，即ORM(Object-Relational Mapping)技术，指的是把关系数据库的表结构映射到对象上，通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系...
Python实现将数据框数据写入mongodb及mysql数据库的方法
09-09
本篇主要讲解如何利用Python将数据框（通常为Pandas DataFrame类型）的数据写入MongoDB和MySQL数据库，这两种数据库在大数据处理和Web开发中都有广泛的应用。 首先，我们来看如何将数据框数据写入MongoDB。MongoDB...
python工具-excel批量导入mysql (几千万数据半小时可搞定)
04-23
有了数据和数据库连接，我们就可以将数据批量写入MySQL。由于大数据量可能导致内存溢出，我们可以分批写入数据，比如每次处理10000行： ```python def batch_insert(connection, df, table_name, chunksize=10000):...
基于python,pandas,pymysql 将数据批量高效写入mysql数据库（保证可以用的那种）
技顽Mark的博客
08-11 8138
编程界的小学生一枚，主要使用语言为python，平时要和数据打交道，还有erp系统相关以及web开发等等，有时间就会分享下工作中遇到的那点事，包括那些让我焦虑的问题，包括我自己总结的小技巧，那些程序优化重构的实现，还有可能包括程序性能优化，以及源码的阅读等等···在荆棘的道路上逆风前行 本文基于python, pandas, pymysql实现了向数据库中批量插入数据的脚本，一方面提供给被网上很多瞎转载的答案给坑蒙了的人(因为我也是)，一方面自己也做个笔记，以后方便查阅 文章目录需求原因版本库信息逻辑梳.
pandas写入MySQL数据库
人工智能曾小健
03-01 1820
import MySQLdb import pandas as pd from sqlalchemy import create_engine host = 'dbserver_xxx.xxx.com.cn' port = 3306 db = 'ai' user = 'xxxxxt' password = 'xxxxx' engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s/%s?charset=utf8") % (user, .
pandas写入MySQL
10-20 1187
pandas写入MySQL
数据库批量插入数据
cailiao11的博客
08-18 391
python向mysql批量插入数据
pandas 写入mysql数据库.to_sql方法详解
热门推荐
LeiLiFengX的博客
11-22 5万+
pandas 写入mysql数据库.to_sql方法详解 DataFrame.to_sql(self,name,con,schema=None,if_exists=’fail’,index=True,index_label=None,chunksize=None,dtype=None,method=None) 再官方文档中已经详细描述to_sql()方法使用方式 .to_sql()方法的定义： def to_sql(self, name, con, schema=None, ...
pandas读取和写入MySQL
weixin_71142140的博客
08-07 4155
con 参数为数据库的连接，这里不能用pymysql,pymysql只会傻傻 的一行一行写。if_exists 参数判断是否有重复表名，该参数有3个值：fail表示如果表名重复则不写入，replace表示如果表名重复覆盖原表，append表示追加写入。name 参数为要存储的表名，这里不用事先建表，你写个表名它就自己建好了，连表字段都不用写，非常的省事。，跟pd.read_csv，pd.read_excel一样，非常的好记。con 为数据库的连接，这里可以用pymysql。sql 为可执行的sql 语句。.
h2数据库介绍
weixin_40482816的博客
09-11 2912
1、H2介绍 H2是一个用Java开发的嵌入式数据库，它本身只是一个类库，可以直接嵌入到应用项目中。 常用的开源数据库有：H2，Derby，HSQLDB，MySQL，PostgreSQL。其中H2和HSQLDB类似，十分适合作为嵌入式数据库使用，而其它的数据库大部分都需要安装独立的客户端和服务器端。 　　H2的优势： 　　　　1、h2采用纯Java编写，因此不受平台的限制。 　　　　2、h2只有一个jar文件，十分适合作为嵌入式数据库试用。 　　　　3、h2提供了一个十分方便的web控制台用于操作和管
飞书API（6）：使用 pandas 处理数据并写入 MySQL 数据库
明而决之
04-28 2062
本文介绍了如何处理飞书的 28 中数据类型，以及通过 sqlalchemy 库将处理好的数据入库。在探索一个未知的领域时，一般会从个别典型的案例先入手，随着认知的不断深入，逐渐有全局观，便会考虑通用案例，然后在通用案例下，再考虑局部的需求定制。 本文是一个比较全面的案例，更多的是在提供一个解决思路，相关代码的可拓展性较差，下一遍介绍另外一个飞书的 API 读取多维表的元数据来优化可拓展性问题，使得代码变得更加通用。下下篇则在通用的基础上再做定制化需求。
pandas把数据存入mysql
小僵尸打字员的博客
05-13 3133
前言 主要是因为懒得写insert语句, 所以打算用pandas存数据, 比较方便, 下面时测试成功脚本, 使用自拿 """ @author xiaofei @date 2019-05-13 @desc 测试pandas存入mysql """ import pymysql import pandas as pd from sqlalchemy import create_engine #...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值