python的sqlite数据库内数据去重处理

最新推荐文章于 2023-09-19 10:51:45 发布

没有波澜起伏的浪就不叫海

最新推荐文章于 2023-09-19 10:51:45 发布

阅读量1.2k

点赞数 2

文章标签：数据库 sqlite python

本文链接：https://blog.csdn.net/weixin_41057149/article/details/128979790

版权

这几天试着做了一下sqlite数据库的一个小程序，是用Python写的，但是发现程序每次写入数据到sqlite时，要么是数据重复写入，要么是数据写入的位置不对（没有按数据的时间排序），很苦恼，于是各种“人肉“sqlite去重的资料，但是没有“骇人听闻”的发现，唯一有价值的发现就是设置主键，设置数据主键有诸多好处。于是乎昨晚24点灵光一闪，把time字段设置成了主键，这样的好处是会保持原数据表的格式，不会生成主键列，所以对数据格式没有影响，由于网上很难找到成型可用的资料，故分享诸公以备不时之需。举例如下，亲测可用：

未去重之前的数据表

请添加图片描述

未去重之前的代码

import sqlite3
def conn():
        """创建数据库库"""
        Conn=sqlite3.connect('nba2.db') # 连接数据库
        Cur=Conn.cursor() # 创建游标对象
        Cur.execute("create table lakers(name STRING , age integer, phone integer)") # 创建表
        Conn.commit()
        print('数据库表创建成功')
def ins():
    """添加数据"""
    Conn = sqlite3.connect('nba2.db')
    Cur = Conn.cursor()
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)', ('rw',191,33))
        
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)', ('rw',191,33)) # 插入数据，使用了占位符？
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('lbj',203,36))
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('ca',203,36))
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('kd',208,28))
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('dh',210,36))
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('dh',210,36))
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('dh',210,36))        
    Cur.execute('SELECT name FROM lakers')
    Cur.execute('SELECT DISTINCT name FROM lakers')
    Conn.commit()
    print('数据添加成功')
if __name__ == '__main__':

    conn()
    ins()

去重之后的图片

请添加图片描述

import sqlite3


def conn():
        """创建数据库库"""
        Conn=sqlite3.connect('nba2.db') # 连接数据库
        Cur=Conn.cursor() # 创建游标对象
        Cur.execute("create table if not exists lakers(name STRING primary key not null on conflict ignore, age integer, phone integer)") # 创建表
        Conn.commit()
        print('数据库表创建成功')
def ins():
    """添加数据"""
    Conn = sqlite3.connect('nba2.db')
    Cur = Conn.cursor()
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)', ('rw',191,33))
        
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)', ('rw',191,33)) # 插入数据，使用了占位符？
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('lbj',203,36))
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('ca',203,36))
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('kd',208,28))
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('dh',210,36))
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('dh',210,36))
    Cur.execute('INSERT OR IGNORE INTO lakers values(?,?,?)',('dh',210,36))        
    Cur.execute('SELECT name FROM lakers')
    Cur.execute('SELECT DISTINCT name FROM lakers')
    Conn.commit()
    print('数据添加成功')
if __name__ == '__main__':

    conn()
    ins()