在python中利用pymysql将dataframe数据插入数据库中（不改变表结构）

最新推荐文章于 2024-08-03 15:52:30 发布
最新推荐文章于 2024-08-03 15:52:30 发布
阅读量3.6k 收藏 5
点赞数 1
分类专栏： python 文章标签： python mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gan618/article/details/97786666
版权
本文介绍了如何在Python中利用pymysql库，将DataFrame数据无改变地插入到MySQL数据库中。首先，通过pymysql建立数据库连接；接着，根据已有数据库表结构调整DataFrame的数据类型以匹配；最后，执行插入操作，确保数据完整无损地导入到数据库中。注意在操作完成后关闭数据库连接。
摘要由CSDN通过智能技术生成

在python中利用pymysql将dataframe数据插入数据库中（不改变表结构）

1.连接数据库

利用pymysql安装包进行数据库连接。

import pymysql
connect = pymysql.connect(user = 'root', password = '123456', host = 'xxx.xx.x.xx', post = 3306)
con = connect.cursor()
con.execute('数据库名称---test')

2.数据表格式整理

  • 根据已有的数据库表结构对dataframe数据表进行数据类型修改。

  • 从已知的数据表中，可以知道每个字段的数据类型，将dataframe中的数据列类型进行修改

temp = {
   'a'
最低0.47元/天 解锁文章
高跟没有鞋
关注
专栏目录
pandas入门01——DataFrame数据处理及插入mysql数据库
l229568441的博客
07-11 6759
pandas入门01——DataFrame数据处理及插入mysql数据库 前言 最近股市很火，本人就想着搞个量化分析的程序去炒炒股，说不定就走上人生巅峰了呢。 网上股市的数据接口大部分都是python的，返回的数据结构是DataFrame，本篇就记录一下本人学习DataFrame进行数据处理及插入数据库的过程。 环境准备 python环境，推荐anaconda，网上安装教程很多 mysql数据库，docker安装mysql数据库教程 传送门 安装tushare （提供获取股票数据接口） 安装pymysql
python连接mysql数据库并将dataframe的数据插入表中
xiaotian127的博客
04-11 405
【代码】python连接mysql数据库并将dataframe的数据插入表中。
pymysql用法、将DataFrame数据直接写入MySQL数据库
weixin_44285715的博客
10-16 1万+
python 用 pymysql 新建数据库、表，通过 pandas 查看结果https://www.cnblogs.com/shanger/p/12982110.html 从config读取配置https://jingyan.baidu.com/article/425e69e67b9407fe14fc164f.html 目录 1、python3 + pymysql 创建数据库 2、使用pandas将DataFrame数据直接写入MySQL数据库 1、python3 + pymysql 创建...
【Pandas】pandas.DataFrame.to_sql 详解与实战应用：将DataFrame数据写入 SQL 数据库
最新发布
科技改变人类，技术成就未来
08-03 829
在数据科学和分析过程中，经常需要将分析后的数据存储到数据库中，以便后续的查询和分析。Pandas 提供了 to_sql 方法，允许将 Pandas DataFrame 数据写入 SQL 数据库。这篇博客将详细讲解 to_sql 方法，包括其作用、使用方法、参数详解、示例代码以及注意事项。
Python操作Mysql之追加写入Dataframe到数据库(Python/Mysql/去重更新)
lzykevin的博客
11-17 4114
本文主要实现利用Python向Mysql数据按主键去重追加写入更新数据，写入数据源为Dataframe类型，可用于爬虫等需要去重追加更新数据的场景。 本文参考网络上相关写入Mysql的代码并作出以下几点优化： 无需指定需要写入的列名称 变量名称均用``括起，解决部分特殊变量名引起的报错 将整个追加写入过程包装成了外部工具类，仅需简单引用即可解决数据追加写入的问题 #!/usr/bin/env python # -*- coding:utf-8 -*- import os import pymysq.
利用python把pandas的DataFrame格式写入数据库和读出数据库数据
热门推荐
有效鸡汤的博客
11-23 1万+
DataFrame <--> sql 尝试了各种把Excel，csv格式导入数据库，却总是出现各种各样的额错误，后来发现python的pymasql库不支持 "pd.io.sql.to_sql(data, "file_name", con=engine, index=False, if_exists='replace')"方法。 接下来用sqlalchemy库做sql ->...
pymysql insert dataframe 遇到 nan 值
颹蕭蕭
12-07 378
【代码】pymysql insert dataframe 遇到 nan 值。
python dataframe类型转换后存入mysql
zhuxian2009的专栏
07-23 1284
上文中《tushare之前复权》提到，从tushare得到复权日K线数据，而返回值是dataframe类型的。现在需要将dataframe类型转换成数组，逐个存入数据库。 dataframe类型，使用values方法，返回数组类型；然后，for循环逐行遍历数组，一行就对于mysql的一条记录，关键部分代码如下： import tushare as ts ...
pandas插入mysql库_使用pandas将DataFrame数据直接写入MySQL数据库
weixin_39983554的博客
12-19 1246
先看下需要存入的df数据：安装并导入需要的库：先创建数据库：开始直接一条pandas入库：入库后查看数据：注意：(1)再进行入库的时候，他会根据列自动选择类型，可能为double、float等，后面如果出现类型不匹配，就会报错，这种情况一定要进入数据库后去改下数据类型，不然会一直报错(2)pymysq：此处用的是pymsql，不要再用mysqldb，这是个坑，很麻烦，安装也很麻烦，还是用这个吧，网...
从Mysql数据库中导出表结构信息到Excel中.zip
06-16
在命令行中，可以使用`mysqldump`命令，结合`--no-data`选项来只导出表结构而不包含实际的数据。例如： ```bash mysqldump -u[username] -p[password] -h[hostname] [database_name] --no-data --compact > ...
Python实现将数据框数据写入mongodb及mysql数据库的方法
09-09
本篇主要讲解如何利用Python将数据框（通常为Pandas DataFrame类型）的数据写入MongoDB和MySQL数据库，这两种数据库在大数据处理和Web开发中都有广泛的应用。 首先，我们来看如何将数据框数据写入MongoDB。MongoDB...
Python如何将Dataframe直接写入数据库
qq_43492878的博客
05-06 2632
在使用pandas的过程中，我们有时候会需要将某个Dataframe存入数据库中，我们可以直接使用sqlalchemy 库和pandas。表示将users这个dataframe写入engine指定的数据库中，表名为users，如果存在该表则删除后重新创建。
读取或存储DataFrames的数据到mysql中
Sherlee1213的博客
05-12 1929
如果指定了该参数，将按照指定的大小将数据分批写入数据库，有助于处理大量数据。，那么所执行的逻辑为：将数据库中已存在的表删除，并创建一个新的表。：已经创建好的数据库连接对象，可以是 SQLAlchemy 的引擎对象或数据库连接字符串。：可选参数，指定是否将 DataFrame 的索引写入到数据库表中，默认为 True。，如果需要多次执行，在每次写入数据前，先将该表中所有数据进行删除，再重新写入。：可选参数，要写入的目标表所属的数据库模式（schema）。：可选参数，指定索引列的列名，默认为 None。
如何正确将python的DataFrame格式数据导入到mysql数据库
09-23 9057
如何正确将DataFrame格式数据导入到mysql数据库 读取数据库的操作和将数据写入到数据库还是有点不一样的 将DataFrame格式数据导入到mysql数据库，采用create_engine（）方法： from sqlalchemy import create_engine # create_engine('mysql+pymysql://用户名:密码@主机/库名?charset=utf8'...
Python中将DataFrame直接写入mysql的最简单方法
bale_的博客
01-12 3798
python中将df写入数据的简单方法
pymysql dataframe 写入sql
luoganttcc的博客
06-19 2153
import pandas as pd import pymysql from sqlalchemy import create_engine #engine = create_engine("mysql+pymysql://user:password@host:port/databasename?charset=utf8") engine = create_engine(&
python3.6.2下利用pymysql库将dataframe文件写入到mysql数据库
zhuyiang的博客
08-14 1万+
#python3.6.2 import pandas as pd import pymysql from sqlalchemy import create_engine # 这里一定要写成mysql+pymysql，不要写成mysql+mysqldb engine = create_engine("mysql+pymysql://user:password@host:port/data...
python将csv导入数据库中已经创建好的表 要求不改变表结构和表头
09-17
### 回答1： 可以使用Python的pandas库来读取csv文件，并将数据插入到已经创建好的数据库表中。具体步骤如下： 1. 使用pandas库的read_csv函数读取csv文件，将数据读取到一个DataFrame对象中。 2. 使用pandas库的to_sql函数将DataFrame对象中的数据插入到数据库表中。需要指定数据库连接信息、表名和插入方式等参数。 注意，如果csv文件中的列名与数据库表中的列名不一致，需要使用pandas库的rename函数将列名进行重命名，以便与数据库表中的列名对应。 示例代码如下： ```python import pandas as pd import sqlalchemy # 数据库连接信息 db_url = 'mysql+pymysql://username:password@host:port/database' # 读取csv文件 df = pd.read_csv('data.csv') # 将列名重命名为数据库表中的列名 df = df.rename(columns={'csv_column1': 'table_column1', 'csv_column2': 'table_column2'}) # 建立数据库连接 engine = sqlalchemy.create_engine(db_url) # 将数据插入到数据库表中 df.to_sql(name='table_name', con=engine, if_exists='append', index=False) ``` 注意，以上代码仅供参考，具体实现需要根据实际情况进行调整。 ### 回答2： 使用Python导入CSV文件到已经创建好的数据库表，需要使用数据库连接库和CSV读取库。 首先，需要创建数据库连接，并且使用合适的库进行表连接。 ```python import csv import sqlite3 # 创建数据库连接 conn = sqlite3.connect('database.db') c = conn.cursor() ``` 接着，打开CSV文件并且读取其中的数据。 ```python with open('data.csv', 'r') as csvfile: csvreader = csv.reader(csvfile) # 获取表头 headers = next(csvreader) # 遍历每一行数据 for row in csvreader: # 将数据插入到数据库表中 c.execute("INSERT INTO table_name VALUES (?,?,?,?,?)", row) ``` 最后，提交更改并且关闭数据库连接。 ```python # 提交更改 conn.commit() # 关闭数据库连接 conn.close() ``` 上述代码假设已经存在一个名为`database.db`的数据库，并且其中已经创建好了一个名为`table_name`的表。为了使代码更贴切实际情况，你需要根据实际的数据库类型和表结构进行适当的更改。 ### 回答3： 可以使用Python中的pandas库来实现将csv文件导入已经创建好的数据库表，并且不改变表结构和表头。 首先，需要安装pandas库： ```python pip install pandas ``` 然后，导入pandas库并读取csv文件，将其转换为DataFrame对象： ```python import pandas as pd # 读取csv文件，并将其转换为DataFrame对象 df = pd.read_csv('data.csv') ``` 接下来，使用Python中的第三方数据库连接库（如pymysql、psycopg2等）连接到数据库，并创建一个数据库连接对象： ```python import pymysql # 连接数据库 conn = pymysql.connect(host='数据库地址', port=3306, user='用户名', passwd='密码', db='数据库名') ``` 然后，使用to_sql()方法将DataFrame对象插入到已创建好的数据库表中，并指定表名和连接对象conn： ```python # 将DataFrame对象插入数据库表中 df.to_sql('表名', conn, if_exists='append', index=False) ``` 最后，关闭数据库连接： ```python # 关闭数据库连接 conn.close() ``` 通过以上步骤，就可以实现将csv文件导入已经创建好的数据库表中，同时不改变表结构和表头。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值