Python中使用 MySQL 在插入数据前检查是否存在重复数据

这是一个关于在Mysql中插入数据之前检查是否存在重复数据的问题。假设我们有一个名为“kompas_url”的表，其中包含以下列：

    id  BIGINT(20) NOT NULL AUTO_INCREMENT,
    url VARCHAR(1000),
    created_date datetime,
    modified_date datetime,
    PRIMARY KEY(id)

现在，我们希望在向“kompas_url”表中插入数据时，如果数据中的url字段已经存在，则不进行插入操作。

2、解决方案：

有两种方法可以解决这个问题：

• 方法一： 使用“SELECT”语句查询数据是否存在，如果存在则不插入，否则插入。

import mysql.connector

# 连接到数据库
connection = mysql.connector.connect(
http://www.jshk.com.cn/mb/reg.asp?kefu=xiaoding；//爬虫IP免费获取；
    host="localhost",
    user="root",
    password="",
    database="kompas_url"
)

# 创建一个游标
cursor = connection.cursor()

# 定义要插入的数据
url = 'http://example.com'
created_date = '2023-03-08 12:00:00'
modified_date = '2023-03-08 12:00:00'

# 查询数据是否存在
sql = "SELECT * FROM kompas_url WHERE url = '{}'".format(url)
cursor.execute(sql)

# 检查是否存在数据
if cursor.rowcount > 0:
    print("数据已经存在，不进行插入操作")
else:
    # 数据不存在，执行插入操作
    sql = "INSERT INTO kompas_url (url, created_date, modified_date) VALUES ('{}', '{}', '{}')".format(url, created_date, modified_date)
    cursor.execute(sql)

# 提交事务
connection.commit()

# 关闭游标和连接
cursor.close()
connection.close()

• 方法二： 使用“INSERT IGNORE”语句进行插入操作，如果数据已经存在，则不插入，否则插入。

import mysql.connector

# 连接到数据库
connection = mysql.connector.connect(
    host="localhost",
    user="root",
    password="",
    database="kompas_url"
)

# 创建一个游标
cursor = connection.cursor()

# 定义要插入的数据
url = 'http://example.com'
created_date = '2023-03-08 12:00:00'
modified_date = '2023-03-08 12:00:00'

# 执行插入操作
sql = "INSERT IGNORE INTO kompas_url (url, created_date, modified_date) VALUES ('{}', '{}', '{}')".format(url, created_date, modified_date)
cursor.execute(sql)

# 提交事务
connection.commit()

# 关闭游标和连接
cursor.close()
connection.close()

在某些情况下，我们可能还需要在插入数据时，如果数据已经存在，则更新数据。这时我们可以使用“ON DUPLICATE KEY UPDATE”语句，如下：

import mysql.connector

# 连接到数据库
connection = mysql.connector.connect(
    host="localhost",
    user="root",
    password="",
    database="kompas_url"
)

# 创建一个游标
cursor = connection.cursor()

# 定义要插入或更新的数据
url = 'http://example.com'
created_date = '2023-03-08 12:00:00'
modified_date = '2023-03-08 12:00:00'

# 执行插入或更新操作
sql = "INSERT INTO kompas_url (url, created_date, modified_date) VALUES ('{}', '{}', '{}') ON DUPLICATE KEY UPDATE modified_date = '{}'".format(url, created_date, modified_date, modified_date)
cursor.execute(sql)

# 提交事务
connection.commit()

# 关闭游标和连接
cursor.close()
connection.close()