pandas.to_sql()失败，遇到 pandas.io.sql.DatabaseError:1146 提示表格不存在的解决办法

最新推荐文章于 2024-06-03 10:53:52 发布
最新推荐文章于 2024-06-03 10:53:52 发布
阅读量8.6k 收藏 1
点赞数
分类专栏： python 爬虫 文章标签： pandas python mysql database 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiaoanlu/article/details/100736409
版权

在写我的爬虫脚本 csdn_my_article 时，遇到一处报错：
error

pandas.io.sql.DatabaseError: Execution failed on sql ‘select * from csdn_my_article;’: (1146, “Table ‘zhihuclawer.csdn_my_article’ doesn’t exist”)

相关的代码是：


pd.io.sql.to_sql(article_df, "csdn_my_article", conn, if_exists='append
最低0.47元/天 解锁文章
刘娟娟❤PRESSone
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
09-20
今天小编就为大家分享一篇pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pandas实现to_sql将DataFrame保存到数据库中
12-26
这两个场景，就需要用到DataFrame的to_sql操作。 具体的操作 连接数据库代码 import pandas as pd from sqlalchemy import create_engine # default engine = create_engine('mysql+pymysql://ledao:ledao123@...
DatabaseError: Execution failed on sql ‘SELECT name FROM sqlite_master WHERE type=‘table‘ AND name=?
qq_53582111的博客
09-10 4141
在使用pandas 保存数据到数据库时报的错 原因 ： 引擎问题 解决方法： 换一个引擎 pip install sqlalchemy from sqlalchemy import create_engine con = create_engine('mysql+pymysql://root:litao123@localhost:3306/flask_execl') df.to_sql('t_item',con=con,if_exists='append') ...
DatabaseError: Execution failed on sql ‘SELECT name FROM sqlite_master WHERE type=‘table’ AND -九五小庞
最新发布
qq_37241964的博客
06-03 520
查了pandas官网和其他不少有关to_sql的文章，都没有看到有提及数据库连接这个坑，不过我注意到，pandas官网的to_sql例子和其他文章的to_sql例子都有一个共同点，就是引用sqlalchemy这个第三方ORM库来进行连接的，然后我依样画葫芦，终于解决to_sql这个报错。df.to_sql(‘test’,conn,index=False’) # 然后写进数据库，坑这时出现了，就是conn导致的，你怎么都没想到，conn在read_sql中能正常读取，在to_sql中却报错。
『ERROR』pandas.io.sql.to_sql中遇到的 『MySQL server has gone away』
L聪记博客
12-14 3305
最近在更新数据到数据库的时候遇到了 MySQL server has gone away 的错误，刚开始的时候以为是 sqlalchemy 的问题，但是弄了很久之后还是不行，后来看到了 python pandas dataframe to_sql方法error及其解决 才终于知道原来是插入的数据太多，导致 mysql 的内存不够。
pandas to_sql写入数据很慢
weixin_41956627的博客
12-25 304
最开始没加dtype，发现to_sql很慢，几百条数据都要十多秒；而且有时候会有如下莫名其妙的报错，但仔细检查数据发现数据是没问题的。后面加上 to_sql 中加上 dtype 参数后，就快非常快了，上万条数据不到1s，而且同样的数据也没报错了。嫌pandas的to_sql方法过慢？神方法让你一分钟搞定。有个任务需要通过pandas向oracle写数据。这个好像是专门针对postgresql 的。解决问题时，发现几篇相关文章，记录下。Pandas to_sql详解。
【pandas】【可视化】一 SQL 数据可视化简单实例 - 使用 pandas.io.sql, MySQL, matplotlib
「熊猫系列项目」ing
05-22 529
Overview1 depends2 Prepare2.1 SQL2.2 matplotlib3 pandas 实现简单可视化Reference 1 depends $ pip install numpy, pandas $ pip install matplotlib # x $ pip uninstall matplotlib $ sudo apt install python3-matpl...
解决pandas .to_excel不覆盖已有sheet的问题
12-24
直接to_excel会被覆盖，借助ExcelWriter可以实现写多个sheet。 from openpyxl import load_workbook excelWriter = pd.ExcelWriter(os.path.join(output_dir, 'datapoint_statistic.xlsx'), engine='openpyxl') pd...
快速解决pandas.read_csv()乱码的问题
12-23
pandas.read_csv()遇到读进来乱码问题 1.设置encoding=’gbk’或者encoding=’utf-8’。pandas.read_csv(‘data.csv’,encoding=’gbk’) 2.如果设置encoding直接报错的话 解决方法是：用记事本打开csv文件，另存为...
pythonpandas用sql查询数据表_pandas 读写sql数据库
weixin_39801158的博客
12-08 760
如何从数据库中读取数据到DataFrame中？使用pandas.io.sql模块中的sql.read_sql_query(sql_str,conn)和sql.read_sql_table(table_name,conn)就好了。第一个是使用sql语句，第二个是直接将一个table转到dataframe中。pandas提供这这样的接口完成此工作——read_sql()。下面我们用离子来说明这个方法。...
Python 数据处理 —— pandas SQL 查询
dxs18459111694的博客
11-25 634
模块封装了一组查询方法，既方便了数据检索，又减少了对特定数据库API的依赖。如果安装了SQLAlchemySQLAlchemy将会提供对数据库的抽象。此外，你还需要安装对应数据库的驱动库。例如，PostgreSQL对应psycopg2库，MySQL对应pymysql库。而SQLite默认已经包含在标准库中。如果没有安装SQLAlchemy，则仅支持sqlite。# 将 SQL 数据表读入 DataFrame# 将 SQL 查询读入 DataFrame。
Pandas的to_sql()插入数据到mysql中所遇到的问题
肖永威的专栏
06-09 3413
使用pymysql驱动API，出现如下错误： DatabaseError: Execution failed on sql 'SELECT name FROM sqlite_master WHERE type='table' AND name=?;': not all arguments converted during string formatting
pandas 清洗 MySQL 数据
replat-xin
04-14 1852
读取数据 使用 pd 的 read_sql 读取数据 import pymysql import pandas as pd self.conn = pymysql.connect(host=host, user=user, password=pass, db=db, charset='utf8') sql = 'select * from table_name' df = pd.read_sql(sql, con=self.conn) 空值空格处理 处理空值以及空格使用 pd 的 strip 方
Python的pandas库中的DataFrame的`to_sql`方法写入报错处理
szial的专栏
07-25 1930
当使用Python的pandas库中的DataFrame的`to_sql`方法写入数据库时，如果数据量较大，可能会遇到"_mysql_connector.MySQLInterfaceError: MySQL server has gone away"的报错。如果你的DataFrame太大而无法一次性插入，可以在`to_sql`方法中使用`chunksize`参数。这种方法比逐行插入更快。请记得将`'your_table'`、`column1`、`column2`等替换为你实际的表名和列名。
to_sql报错DatabaseError
qq_45096059的博客
12-27 2370
tosql报错DatabaseError
pandas的io.sql模块中常用的读写数据库函数
weixin_43336305的博客
07-01 1385
read_sql_table() 将读取的整张数据表中数据转换成DataFrame对象 read_sql_query() 将SQL语句读取结果转换为DataFrame对象 read_sql() 既可以读数据表也可以读SQL语句 to_aql() 将数据写入SQL数据库中 ...
大数据处理，Pandas与SQL高效读写大型数据集
Z4400840的博客
04-13 979
学习如何使用Pandas和SQL高效地从数据库中读取、处理和写入大型数据集，以实现最佳性能和内存管理。处理大型数据集往往是一项挑战，特别是在涉及到从数据库读取和写入数据时。将整个数据集加载到内存中的传统方法可能会导致系统崩溃和处理时间缓慢。。这种技术使我们能够高效地处理大量数据，对于任何与数据库和数据帧一起工作的人来说都是一种宝贵的工具。我们将重点使用流行的数据分析库Pandas来演示如何从数据库表中读取大量数据，并将其分块写入Pandas数据帧，以及如何将大型数据从数据帧写回数据库。
python pandas df.to_sal 关系 “sqlite_master“ 不存在，解决方式
qq_41982570的博客
09-26 1340
python pandas df.to_sal 关系 "sqlite_master" 不存在，解决方式
pandas.to_sql到sqlite时提示 datatype mismatch
06-10
当你使用pandas.to_sql函数将数据写入SQLite数据库时，可能会遇到“datatype mismatch”错误。这通常是由于pandas自动推断的数据类型与SQLite数据库中的数据类型不匹配导致的。可以尝试以下几种方法解决这个问题： 1. 指定数据类型：可以在to_sql函数中指定数据类型，以确保与数据库中的数据类型匹配。例如： ```python import sqlite3 import pandas as pd conn = sqlite3.connect('example.db') df = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']}) df.to_sql('mytable', conn, if_exists='replace', index=False, dtype={'col1': 'INTEGER', 'col2': 'TEXT'}) ``` 在这个例子中，我们通过dtype参数指定了每列的数据类型，确保它们与数据库中的数据类型匹配。 2. 先创建表结构：在使用to_sql函数之前，可以先手动创建表结构，以确保每列的数据类型与数据库中的数据类型匹配。例如： ```python import sqlite3 import pandas as pd conn = sqlite3.connect('example.db') c = conn.cursor() c.execute('CREATE TABLE mytable (col1 INTEGER, col2 TEXT)') conn.commit() df = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']}) df.to_sql('mytable', conn, if_exists='replace', index=False) ``` 在这个例子中，我们先创建了一个名为mytable的表，然后使用to_sql函数将数据写入该表中。由于表结构已经存在，to_sql函数将不再尝试自动推断数据类型，而是直接将数据写入表中。 3. 手动转换数据类型：如果你无法指定数据类型或创建表结构，可以尝试手动将数据类型转换为与数据库中的数据类型相匹配。例如： ```python import sqlite3 import pandas as pd conn = sqlite3.connect('example.db') df = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']}) # 将col1转换为整数类型，col2转换为字符串类型 df['col1'] = df['col1'].astype(int) df['col2'] = df['col2'].astype(str) df.to_sql('mytable', conn, if_exists='replace', index=False) ``` 在这个例子中，我们通过astype方法手动将每列数据类型转换为与数据库中的数据类型相匹配。这种方法需要手动指定每列的数据类型，但可以确保写入数据库的数据类型与数据库中的数据类型匹配。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值