pandas.to_sql()失败，遇到 pandas.io.sql.DatabaseError:1146 提示表格不存在的解决办法

最新推荐文章于 2024-06-03 10:53:52 发布
最新推荐文章于 2024-06-03 10:53:52 发布
阅读量8.6k 收藏 1
点赞数
分类专栏： python 爬虫 文章标签： pandas python mysql database 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiaoanlu/article/details/100736409
版权
在使用pandas的to_sql()方法进行数据迁移时，遇到DatabaseError:1146错误提示表格不存在。问题源于爬虫脚本首次运行时，因未定义新抓取的变量名导致DataFrame列数不匹配。修正DataFrame列名与抓取数据匹配后，成功创建并插入数据。
摘要由CSDN通过智能技术生成

在写我的爬虫脚本 csdn_my_article 时，遇到一处报错：
error

pandas.io.sql.DatabaseError: Execution failed on sql ‘select * from csdn_my_article;’: (1146, “Table ‘zhihuclawer.csdn_my_article’ doesn’t exist”)

相关的代码是：


pd.io.sql.to_sql(article_df, "csdn_my_article", conn, if_exists='append', index=
最低0.47元/天 解锁文章
刘娟娟❤PRESSone
关注
专栏目录
解决pandas .to_excel不覆盖已有sheet的问题
09-19
### 解决pandas `.to_excel` 不覆盖已有sheet 的问题 在数据分析与处理工作中，Pandas 是 Python 中不可或缺的一个库，它提供了强大的数据结构以及数据分析工具。其中，`.to_excel` 方法是将 Pandas DataFrame 导出...
Python的pandas库中的DataFrame的`to_sql`方法写入报错处理
szial的专栏
07-25 2030
当使用Python的pandas库中的DataFrame的`to_sql`方法写入数据库时，如果数据量较大，可能会遇到"_mysql_connector.MySQLInterfaceError: MySQL server has gone away"的报错。如果你的DataFrame太大而无法一次性插入，可以在`to_sql`方法中使用`chunksize`参数。这种方法比逐行插入更快。请记得将`'your_table'`、`column1`、`column2`等替换为你实际的表名和列名。
pandas 清洗 MySQL 数据
replat-xin
04-14 1890
读取数据 使用 pd 的 read_sql 读取数据 import pymysql import pandas as pd self.conn = pymysql.connect(host=host, user=user, password=pass, db=db, charset='utf8') sql = 'select * from table_name' df = pd.read_sql(sql, con=self.conn) 空值空格处理 处理空值以及空格使用 pd 的 strip 方
Pandas的to_sql()插入数据到mysql中所遇到的问题
肖永威的专栏
06-09 3793
使用pymysql驱动API，出现如下错误： DatabaseError: Execution failed on sql 'SELECT name FROM sqlite_master WHERE type='table' AND name=?;': not all arguments converted during string formatting
DatabaseError: Execution failed on sql ‘SELECT name FROM sqlite_master WHERE type=‘table‘ AND name=?
qq_53582111的博客
09-10 4314
在使用pandas 保存数据到数据库时报的错 原因 ： 引擎问题 解决方法： 换一个引擎 pip install sqlalchemy from sqlalchemy import create_engine con = create_engine('mysql+pymysql://root:litao123@localhost:3306/flask_execl') df.to_sql('t_item',con=con,if_exists='append') ...
python 异常处理 datafram 重连_在Python中Pandas DataFrame.to_sql()错误 – 不是在字符串格式化过程中转换的所有参数...
weixin_35466750的博客
02-09 758
Python版本 – 2.7.6熊猫版 – 0.17.1MySQLdb版本 – 1.2.5DataFrame.to_sql()抛出pandas.io.sql.DatabaseError：sql执行失败’SELECT name FROM sqlite_master WHERE type =’table’AND name =？;’：不是在字符串格式化过程中转换的所有参数Python代码段con = M...
关于Python 解决Python3.9 pandas.read_excel(‘xxx.xlsx‘)报错的问题
12-16
问题描述 使用pandas库的read_excel()方法读取外部excel文件报错, 截图如下 好像是缺少了什么方法的样子 问题分析 分析个啥, 水平有限, 直接面向stackoverflow编程 ...
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
09-20
在处理大数据分析时，Apache Spark和Pandas是两种常用的工具。Spark是一个分布式数据处理系统，提供了高效的集群计算能力，而Pandas则是一款强大的Python数据分析工具，通常用于单机环境下的数据处理。在某些情况下...
快速解决pandas.read_csv()乱码的问题
12-23
pandas.read_csv()遇到读进来乱码问题 1.设置encoding=’gbk’或者encoding=’utf-8’。pandas.read_csv(‘data.csv’,encoding=’gbk’) 2.如果设置encoding直接报错的话 解决方法是：用记事本打开csv文件，另存为...
to_sql报错DatabaseError
qq_45096059的博客
12-27 2425
tosql报错DatabaseError
python pandas df.to_sal 关系 “sqlite_master“ 不存在，解决方式
qq_41982570的博客
09-26 1462
python pandas df.to_sal 关系 "sqlite_master" 不存在，解决方式
DatabaseError: Execution failed on sql ‘SELECT name FROM sqlite_master WHERE type=‘table’ AND -九五小庞
最新发布
qq_37241964的博客
06-03 668
查了pandas官网和其他不少有关to_sql的文章，都没有看到有提及数据库连接这个坑，不过我注意到，pandas官网的to_sql例子和其他文章的to_sql例子都有一个共同点，就是引用sqlalchemy这个第三方ORM库来进行连接的，然后我依样画葫芦，终于解决to_sql这个报错。df.to_sql(‘test’,conn,index=False’) # 然后写进数据库，坑这时出现了，就是conn导致的，你怎么都没想到，conn在read_sql中能正常读取，在to_sql中却报错。
pandas使用笔记----读取数据库、写入数据库
u011840205的博客
06-24 272
import pandas as pd def pandas_read_sql(sql): """ :return:dataframe """ import pymysql conn = pymysql.connect(host='192.168.1.152', user='stardata', password='Tianhu2016', .
SQL 错误 [942] [42000]: ORA-00942: 表或视图不存在
taibaishenlong的专栏
11-11 9833
1、使用DBeaver数据库工具在oracle数据库下创建了一张tb_user表，使用查询报“表或视图不存在” 2、导致此报错原因是oracle数据库是区分大小的数据库，因此，在写SQL语句是，tb_user会转化，此时，想要查询到表的数据，需要将该表添加上双引号'' ''，如下图所示。 3、但是上述方法在编写java代码时，需要将数据库中的表名加上引号，对于我们使用一些不用编写SQL语句就由框架帮我们写好的框架时，这种就很难实现了，此时，我们可以将表名改为大写方式，选中tb_user表--..
python操作数据库出现错误 : Unknown column 'XXXX' in 'where clause'"
bluewater的专栏
04-17 4884
第一种情况:Unknown column 'XXXX' in 'where clausepython操作数据库出现错误 : Unknown column 'XXXX' in 'where clause'")错误 - CSDN博客  https://blog.csdn.net/you_are_my_dream/article/details/53180474在MySQL数据库中存在中文字符，pyth...
pd的io中的sql的to_sql方法 导入mysql
热门推荐
hellocsz的博客
10-07 1万+
当我们利用pandas处理完数据后，有时可能需要将处理好的数据保存到数据库中，这时需要利用sqlalchemy。 SQLAlchemy“采用简单的Python语言，为高效和高性能的数据库访问设计，实现了完整的企业级持久模型”。 利用sqlalchemy，可以讲pandas类型的格式数据保存到数据库中，但是在使用过程中还是有很多坑的，下面简单介绍一下如何使用： 1： import panda...
pandas无法将df写入mysql_python – Pandas写表到MySQL：“无法回滚”
weixin_36486395的博客
02-19 529
我需要帮助才能实现这一目标.我有一个pd.DataFrame(df),我需要加载到MySQL数据库.我不明白错误消息的含义以及如何解决它.任何帮助将受到高度赞赏.这是我试过的：import MySQLdbfrom pandas.io import sql#METHOD 1db=MySQLdb.connect(host="***",port=***,user="***",passwd="***",d...
pandas.to_sql到sqlite时提示 datatype mismatch
06-10
当你使用pandas.to_sql函数将数据写入SQLite数据库时，可能会遇到“datatype mismatch”错误。这通常是由于pandas自动推断的数据类型与SQLite数据库中的数据类型不匹配导致的。可以尝试以下几种方法解决这个问题： 1. 指定数据类型：可以在to_sql函数中指定数据类型，以确保与数据库中的数据类型匹配。例如： ```python import sqlite3 import pandas as pd conn = sqlite3.connect('example.db') df = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']}) df.to_sql('mytable', conn, if_exists='replace', index=False, dtype={'col1': 'INTEGER', 'col2': 'TEXT'}) ``` 在这个例子中，我们通过dtype参数指定了每列的数据类型，确保它们与数据库中的数据类型匹配。 2. 先创建表结构：在使用to_sql函数之前，可以先手动创建表结构，以确保每列的数据类型与数据库中的数据类型匹配。例如： ```python import sqlite3 import pandas as pd conn = sqlite3.connect('example.db') c = conn.cursor() c.execute('CREATE TABLE mytable (col1 INTEGER, col2 TEXT)') conn.commit() df = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']}) df.to_sql('mytable', conn, if_exists='replace', index=False) ``` 在这个例子中，我们先创建了一个名为mytable的表，然后使用to_sql函数将数据写入该表中。由于表结构已经存在，to_sql函数将不再尝试自动推断数据类型，而是直接将数据写入表中。 3. 手动转换数据类型：如果你无法指定数据类型或创建表结构，可以尝试手动将数据类型转换为与数据库中的数据类型相匹配。例如： ```python import sqlite3 import pandas as pd conn = sqlite3.connect('example.db') df = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']}) # 将col1转换为整数类型，col2转换为字符串类型 df['col1'] = df['col1'].astype(int) df['col2'] = df['col2'].astype(str) df.to_sql('mytable', conn, if_exists='replace', index=False) ``` 在这个例子中，我们通过astype方法手动将每列数据类型转换为与数据库中的数据类型相匹配。这种方法需要手动指定每列的数据类型，但可以确保写入数据库的数据类型与数据库中的数据类型匹配。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值