爬虫中因主键 为None导致 "Duplicate entry 失败

最新推荐文章于 2024-05-19 23:45:03 发布
最新推荐文章于 2024-05-19 23:45:03 发布
阅读量267 收藏
点赞数
分类专栏： python 文章标签： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40809627/article/details/89396243
版权

问题爬虫报错
IntegrityError: (_mysql_exceptions.IntegrityError) (1062, “Duplicate entry ‘\xe6\x9c\x88\xe8\xbf\x9b\xe5\xae\x9d-2019-04-19–3-’ for key ‘PRIMARY’”) [SQL: u’INSERT INTO ***********

定位
部分代码

在这里插入图片描述

在这里插入图片描述

入库逻辑发现没问题
但是通过爬取的数据发现 iconTitle 和periodExplain1 在mysql 设置主键的两个值（爬取的数据很多位空）
导致session.merge(one) 先查询后插入 逻辑出现问题

解决方式
在这里插入图片描述

这几个值单独 赋值null 解决

lianchaozhao
关注
专栏目录
【异常】因为忘加了租户查询条件，导致重复ID导入失败Duplicate entry ‘XXX‘ for key ‘PRIMARY‘
本本本添哥
02-23 691
因为项目是基于多租户架构实现的，因此我们编写的Mybatis的脚本一般都需要加上租户信息，才能查询出来结果。
Mysql出现问题：ERROR 1062 (23000): Duplicate entry ‘‘ for key ‘PRIMARY‘解决方案
小虚竹的专栏
04-04 1万+
Mysql出现问题：ERROR 1062 (23000): Duplicate entry ‘‘ for key ‘PRIMARY‘解决方案
pymysql.err.IntegrityError: (1062, “Duplicate entry ‘ ‘ for key ‘PRIMARY‘“)
bjay的专栏
12-22 1万+
在python中用insert into写入mysql数据库时，可能会出现如题所示异常。 当然，如何改是属于数据方面的知识，网上有很多，不在这里述说。 本文要解决的是：如何在程序中获取该错误，并进行异常处理。 一、捕获异常。 常用方法： 当然在程序调试过程中出现该异常，用肉眼来看就行了。在程序中就需要捕获该异常。参考Python3 MySQL 数据库连接 - PyMySQL 驱动中的代码： #!/usr/bin/python3 # -*- coding: utf-8...
pymysql.err.IntegrityError: (1062, “Duplicate entry ‘0‘ for key ‘PRIMARY‘“)
HoHoTu的博客
04-21 3516
使用pymysql对库表操作时，遇到pymysql.err.IntegrityError: (1062, "Duplicate entry '0' for key 'PRIMARY'")报错。
python爬取指定多个网页数据_Python爬取网站，前几个有数据，之后返回None？
weixin_39864453的博客
11-24 348
想获取廖雪峰python教程网站的内容练练手，发现有的章节能返回数据，但到Python基础这一章开始返回的都是None，没明白问题出在哪，求教错误如下：Traceback (most recent call last):File "scraping_the_tutorial.py", line 36, in get_urls()File "scraping_the_tutorial.py", li...
#1062 - Duplicate entry ‘0‘ for key ‘PRIMARY‘
lelexingyu的博客
12-12 1901
一般出现这种情况是因为你新插入一条新数据（姐姐） 的时候并没有显示地指定id的值，所以mysql会在插入数据之前给你填充一个默认的id的值，而int类型数据默认值是“0”；这里新插入的两个id都是0，因为id是主键，遵守唯一性原则，就报错说Duplicate entry '0' for key 'PRIMARY'。设置过程中要注意一点，你需要将新插入id值改成1，或者直接删除之前插入的id，因为auto_increment的字段需要从1开始自增长。（我不大喜欢使用，容易乱）
mysql1062错误： Duplicate entry ‘...‘ for key ‘PRIMARY
weiwu13的博客
01-25 3万+
问题解释： Duplicate entry ‘…’ for key ‘PRIMARY，即插入数据时，要插入数据的主键数据(…)已经存在，不能再重复添加了。例：Duplicate entry ‘0’ for key ‘PRIMARY是指主键为0的数据已经存在，不能再插入主键值为0的数据了。 问题解决： 在执行插入操作insert前，可以先执行一遍该主键值的查找操作select 【简单的来说，就是这个语句已经执行过了，无需重复执行】 1062、1060报错都是一样的 ...
mysql #1062 –Duplicate entry '1' for key 'PRIMARY'
09-11
在本例中，错误指出试图插入的记录中，主键列（可能是ID）的值为1，但这个值已经存在于表中，因此导致了冲突。 描述中提到的问题是由于在WordPress或Discuz!等平台的数据迁移过程中，由于备份和恢复操作不当，导致...
mysql error:#1062 Duplicate entry ‘***′ for key 1问题解决方法
09-11
使用事务可以确保数据的一致性和完整性，防止因单个操作失败而导致的数据不一致。 总结来说，MySQL 错误 #1062 - "Duplicate entry '***' for key 1" 是由于违反唯一键约束导致的，常见于自增长字段。解决这个问题...
mysql #1062 –Duplicate entry ‘1’ for key ‘PRIMARY’
12-15
近日一直在折腾vps ，刚刚碰到在搬移wordpress过程中导入数据库的时候。碰到了 #1062 – Duplicate entry ‘1′ for key ‘PRIMARY’ 当时那个急啊，原本的数据我已经全部删除了，没办法只有请求万能的百度了。我找...
python爬虫返回none_初学python爬虫，bs4解析后print(bs,h1)返回None的原因和解决方案...
weixin_39582569的博客
01-14 2777
本人用的python3.7，代码在anacoda 3.7版 和自装的bs4 4.9.1都成功测试。初学爬虫，结果第一个BeautifulSoup的实例就运行失败，print(bs,h1)返回None，但原网页明明就有h1标签。比如下面的代码。from bs4 import BeautifulSoupfrom urllib.request import urlopenhtml = urlopen('...
python分布式编程_Python安全工具开发(一) :分布式爬虫初探
weixin_39992957的博客
11-29 150
本文由江sir原创投稿一叶知安，已向作者发放一定奖励。投稿参见：一叶知安征稿［欢迎踊跃投稿］前言写的一款百度爬虫采集工具，自己平时用的都是window下的一些exe工具，但在自己linux系统里还是有点不太方便，就自己写了一个百度爬虫工具，之后做一些批量扫描测试的时候可以发挥很大用处了多线程类没啥可说的，写好多了，都可以直接拿来用的，详细讲解下spider()函数网页分析在网页分析时主要是注意一下...
selenium爬虫遇见 display：none元素解决方法
m0_51344172的博客
02-28 2390
python初级爬虫遇到的问题
mysql1062错误： Duplicate entry '...' for key 'PRIMARY
热门推荐
kfgauss的博客
07-26 6万+
运行导入sql文件报错。 以下是网友的博文原文转载： 问题解释： Duplicate entry ‘…’ for key ‘PRIMARY，即插入数据时，要插入数据的主键数据(…)已经存在，不能再重复添加了。例：Duplicate entry ‘0’ for key ‘PRIMARY是指主键为0的数据已经存在，不能再插入主键值为0的数据了。 问题解决： 在执行插入操作insert前，...
pymysql.err.IntegrityError: (1062, ‘‘)异常的解决方案
最新发布
2301_79779756的博客
05-19 696
pymysql.err.IntegrityError 是 PyMySQL 库在尝试执行数据库操作时遇到的一个完整性约束错误。在 MySQL 数据库中，完整性约束用于确保数据的完整性和准确性，包括主键约束、唯一性约束、外键约束等。当执行的操作违反了这些约束时，就会引发 IntegrityError 异常。
mysql 查询报错 Duplicate entry 解决方案
wangwenzhe的博客
01-22 7332
生产一条sql查询的时候报错,测试/预发都没问题,怀疑是mysql配置导致的,因为生产数据量比预发/测试要多 sql: select XXX , count(*) as count from table_xxx group by XXX 报错: Duplicate entry 'XXXXXXX' for key '<group_key>' 解决...
MySQL错误：IntegrityError: (1062, "Duplicate entry '123' for key 'username'")
Sweeneys的博客
08-12 2万+
1.问题描述 MySQL插入数据的时候报错，提示如下： IntegrityError: (1062, "Duplicate entry '123' for key 'username'") 2.问题分析 根据错误提示我们可以大致得到以下信息： 1.IntegrityError表示这个字段在MySQL中的类型为：整型。 2.Duplicate Entry:“Duplicate”——som...
scrapy_pymysql.err.IntegrityError: (1062, "Duplicate entry '1' for key 'PRIMARY'")
jss19940414的博客
01-12 1万+
 问题描述： python：3.6 ubantu：5.4.0-6ubuntu1~16.04.4  在使用scrapy为框架，将采集到的数据使用pymysql保存到虚拟机中的时候，数据采集没有问题，但是在插入的时候出现了问题，报错如下： Traceback (most recent call last): File "e:\anaconda3\lib\site-packages\twi...
Merge Duplicate Symbols (删除合并重复Symbol)
qq_38482432的博客
06-12 1093
本次小编为大家带来由oodesign开发的Merge Duplicate Symbols for Mac，这是一款可以为用户删除合并重复Symbol的sketch插件，删除合并重复Symbol插件兼容OS X 10.9 或更高版本，有需要的朋友快来看看吧！ 点击下载Merge Duplicate Symbols (删除合并重复Symbol) sketch排列图层插件 mac功能介绍 假设你有...
聚合主键 Duplicate entry “” for key "PRIWARY
07-27
在插入数据时，出现了重复的id值，导致报错"Duplicate entry '2' for key 'PRIMARY'"。此外，在插入数据时，如果将id设置为null，也会报错"Column 'id' cannot be null"，因为id被设置为主键，不允许为空。\[1\] ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值