python小技 使用python去除mysql数据中的重复值

使用python去除mysql数据中的重复值

# @Time : 2020/8/22 12:04
# @Author : py`村长
# @File : 使用python去除mysql数据中的重复值.py
# PROJECT_NAME : 使用python去除mysql数据中的重复值
# @Software : PyCharm


import pymysql
import pandas as pd
from sqlalchemy import create_engine

# 1.打开数据库链接
conn = connect = pymysql.connect(host="localhost",
                                 port=3306,
                                 user="root",
                                 password="root123",
                                 database="mydb",
                                 charset="utf8mb4")
cursor = conn.cursor()  # 连接Mysql数据库
conn1 = create_engine('mysql+pymysql://root:root123@localhost:3306/mydb?charset=utf8')

# 2.读取数据库、加载到csv文件、读取csv文件
# 读取数据库
sql = """
        select * from abc;
      """
read_abc_mysql = pd.read_sql(sql=sql, con=conn)    # 读取数据库内容
# 加载到csv文件
read_abc_mysql.to_csv(path_or_buf="abc.csv", index=False)  # 保存到csv中,其中需要学习的是如何区分表头和表数据等
# 读取csv文件
read_abc_csv = pd.read_csv("abc.csv", encoding='utf-8', usecols=["a", "b", "c"])
# print(read_abc_csv)  # 查询确认是否正确

# 3.做处理,主要是去重
dis_data = read_abc_csv.drop_duplicates(keep='first')
# print(read_abc_csv)  # 查询确认是否正确

# 4.根据处理的内容，并加载csv文件到abc1.csv，并读取文件
dis_data.to_csv(path_or_buf="abc1.csv", index=False)  # 保存到csv中
read_dis_csv = pd.read_csv("abc1.csv", encoding='utf-8', usecols=["a", "b", "c"])

# 5.加载到数据库
sql1 = """
        truncate table abc;
      """
cursor.execute(query=sql1)  # 加载之前需要先删除数据
csv_to_sql = pd.DataFrame(read_dis_csv)  # 加载处理好的数据文件
csv_to_sql.to_sql(name='abc', con=conn1, if_exists='append', index=False)  # 加载处理好的数据文件

# 6.验证
sql2 = """
        select * from abc;
      """
read_abc_mysql = pd.read_sql(sql=sql2, con=conn)    # 读取数据库内容
print(read_abc_mysql)