python将字符串导入mysql_如何用Python将数据批量的插入到数据库

最新推荐文章于 2022-06-15 23:21:38 发布
最新推荐文章于 2022-06-15 23:21:38 发布
阅读量919 收藏 2
点赞数
文章标签： python将字符串导入mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35773740/article/details/113661398
版权
本文介绍了如何使用Python的pandas和pymysql库高效地批量插入数据到MySQL数据库，详细解析了从读取文件、数据处理到数据库插入的全过程，并提供了完整的代码示例。
摘要由CSDN通过智能技术生成

我是一名挣扎在编程链底端的pythoner，工作中既要和数据打交道，也要保持和erp系统，web网站友好的"沟通"···，我会时不时的分享下工作中遇到那点事，包括个人觉得值得记录的编程小技巧，还有就是遇到的问题以及解决方案，还有源码的阅读等等，可能也有编程中的生活感悟，不说了，我要去重构我的程序了

cbaa2533bf447689a56a9733f9004bca.png

本文基于python, 使用pandas, pymysql等三方库实现了向数据库中高效批量插入数据，一方面提供被网上很多瞎转载的答案给坑蒙了的人(因为我也是)，一方面自己也做个笔记，以后方便查阅.

需求原因

最近在处理一个需求，有关批量往数据库插入数据的，描述如下

原来的程序是基于sql的存储过程进行数据的更新修改操作，由于数据量较大，导致对数据库压力太大，于是需要将程序重构为用python读取文件的方式将数据做计算处理，减少这部分的压力，最后仅仅将计算的结果调用aws的lambda服务重新更新到数据库中就可以了，减少了极大的压力，也降低了成本。涉及数据库主要是插入及更新操作

版本库信息

基于

linux系统

写的三方库 >>> pandas 1.0.5, pymysql 0.9.3python版本 >>> 3.7标准库 >> os

逻辑梳理

实际上，最后一步，要写入数据库的文件数据是存储在内存中的。因为读取文件后进行的计算都是在内存中进行的，那么计算的结果也没必要再写到本地，再去读取，再写入数据库,这是会影响程序的效率的。逻辑如下

读取文件文件的拼接及计算，生成新的df初始化数据库的连接将df所需数据转换为元组数据(取决于数据库的三方库的接口是如何支持批量操作的)将数据写入数据库检查数据库内容即可

分步实现及分析

读取文件

给文件路径，然后去读文件就行了，强调一下需要注意的点

绝对路

最低0.47元/天 解锁文章
曹将
关注
Python导入Excel数据到MySQL数据库
这家伙很懒，什么都没有留下
10-31 4270
本文介绍了如何使用Python的pandas和sqlalchemy库将Excel数据导入到MySQL数据库中。我们首先使用pandas的read_excel()函数读取Excel文件并将其转换为pandas数据帧。然后，我们使用sqlalchemy的create_engine()函数创建与MySQL数据库的连接。最后，我们使用pandas的to_sql()函数将数据从pandas数据帧导入到MySQL数据库中。
json字符串导入MySQL_json字符串存入数据库
weixin_29102619的博客
02-01 2889
5Python标准库系列之json模块Python标准库系列之json模块JSON (JavaScript Object Notation)http://json.orgis a subset of JavaScript syntax (ECMA-262 3rd edition) used as a lightweight ...文章余二五2017-11-14875浏览量用 opencv和nu...
【Python】生成随机字符串并存入MySQL数据库
VegB的博客
01-28 1682
Yixiaohan/show-me-the-code 第0001题 &&  第0002题 这个小项目中涉及随机字符串的形成，以及用python连接MySQL的内容。
python 写数据库 字符串_使用Python将UTF-8字符串写入MySQL
weixin_33657090的博客
12-23 242
I am trying to push user account data from an Active Directory to our MySQL-Server. This works flawlessly but somehow the strings end up showing an encoded version of umlauts and other special charact...
python将字符串导入mysql,Python等同于mysql_real_escape_string，用于将字符串安全地导入MySQL？...
weixin_39770821的博客
01-30 196
Is there a Python equivalent of PHP's mysql_real_escape_string?I'm trying to insert some strings into a MySQL db direct from Python, and keep getting tripped up by quotes in the strings.mysql_string =...
python使用插入带有%的字符串到mysql数据库
彭世瑜的博客
07-18 6816
使用Navicat插入 新建包含两个字段，分别是id（自增主键），name（姓名）的数据表 CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` `varchar`(20) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARS...
python向mysql插入特殊字符
热门推荐
shellshine的专栏
11-21 1万+
向mysql数据库插入数据时经常会碰到一些特殊字符，如单引号，双引号。 cur.execute(u'''update table set name = %s where id = %s;''' , (p.decode('utf-8'),index)) name = "\\";  name2 = "\"" 注意： cursor.execute()可以接受一个参数，也可以接
python批量导入mysql_用python批量向数据库(MySQL)中导入数据
weixin_39846664的博客
12-15 836
用python批量向数据库(MySQL)中导入数据现有数十万条数据,如下的经过打乱处理过的数据进行导入数据库内部的表格的数据格式如下与下面的表格结构相同Current database: python_test_1+-------+-------------+------+-----+---------+----------------+| Field | Type | Null |...
Web开发-将Excel数据导入到MySQL数据库-Python源码示例.zip
11-30
将DataFrame数据批量插入到MySQL表中，可以使用`to_dict()`方法和`executemany()`函数： ```python insert_query = "INSERT INTO your_table_name VALUES (%s, %s, ..., %s)" data_dict = data.to_dict(orient='...
python向数据库插入字符串数据，字符串中含有单引号，入库报错解决办法
积跬步，慕至千里的博客
09-02 2135
目录问题解决办法 问题       最近处理部分数据，某些字段的数据中，含有单引号（含有双引号应该没有影响，如果报错，解决办法和单引号的方式类似）入库是会报错。       针对这一问题，解决办法如下： 解决办法       对于这个问题，错误原因就是因为单引号是作为数据库字符串的标识的，因此，当字符串中有单引号号时，通过pyth
Python 按照某种匹配条件拆分字符串并存储数据到数据库 实例
biqi7839的博客
08-06 457
需求：提供如下的txt文件测试u047【123456@qq.com】自主招生3测试u008【456789@qq.com】自主招生6需要将其拆分为如下结果：id qq username1 123456@qq.com 测试u0472 自主招生33 45...
python之字符串处理
qq_42158153的博客
06-15 1804
python处理字符串常用方法
将列表存入MySQL_字符串属性转变List属性存入数据库
weixin_28944739的博客
02-12 2202
项目中有系统IP字段，现将string转List存入数据库，每个功能块持久层实现方法不一样(分为jpa和mp)jpa：@Convert(converter = JpaConverterListJson.class)private ListhostIp;public class JpaConverterListJson implements AttributeConverter{@Overridep...
mysql 大量数据 更改索引_MYSQL使用初步流程介绍
weixin_39759060的博客
10-22 249
一、创建数据库create database database_name；PHP中创建数据库的两种方法：(MYSQL_create_db(),MYSQL_query())$CONN = MYSQL_CONNect(“localhost”,”username”,”password”) ordie ( “could not CONNect to localhost”);1.MYSQL_create_d...
使用Python 抓取数据并写入Mysql数据库
weixin_43292784的博客
04-14 465
使用Python 抓取数据并写入Mysql数据库
Python简单抓取CSDN博文列表并写入SQL Server数据库
binguo的博客
08-03 5579
#/usr/bin/env python # -*- coding:utf-8 -*- import re #导入正则模块 import requests #导入http客户端库 import lxml.html #基于libxml2这一XML解析库的Python封装，该模块使用C语言编写，解析速度比beautiful soup更快 import pymssql #导入Python的SQL Ser
python pymysql将数据存入mysql中
qq_37561833的博客
11-03 1162
上周用requests 抓取到fsk招聘网的信息忘记存到数据库里面了 链接：https://blog.csdn.net/qq_37561833/article/details/102770180 所以记录一下怎么把数据存到mysql数据库里面，并简单罗列一下pymysql模块的一些用法 介绍pymysql用法的链接： https://blog.csdn.net/qq_37561833/articl...
python 插入mysql数据库 字符串中含有单、双引号解决方法
Love_Story_Boyslove的博客
05-11 4283
python 插入mysql数据库字符串中含有单、双引号解决方法
python插入mysql数据库数据，如何将特殊字符转义
最新发布
05-05
你可以使用Python中的MySQLdb模块来将特殊字符转义并插入到MySQL数据库中。可以使用MySQLdb.escape_string()方法将特殊字符进行转义，例如： ``` import MySQLdb conn = MySQLdb.connect(host='localhost', user='root', passwd='password', db='database') cursor = conn.cursor() name = "John O'Connor" age = 30 escaped_name = conn.escape_string(name) query = "INSERT INTO users (name, age) VALUES ('%s', %d)" % (escaped_name, age) cursor.execute(query) conn.commit() conn.close() ``` 在这个例子中，MySQLdb.escape_string()方法将name变量中的特殊字符(单引号)进行转义，并将转义后的字符串保存到escaped_name变量中。接下来，使用插入查询将escaped_name和age变量插入到MySQL数据库中。 注意：使用类似于cursor.execute(query, args)的方式来传递参数可以更加安全和有效，而不是使用字符串插值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值