python操作mysql百万行表数据处理后写进另一表

最新推荐文章于 2024-07-28 03:41:30 发布

viwaw

最新推荐文章于 2024-07-28 03:41:30 发布

阅读量411

点赞数

文章标签： mysql python

本文链接：https://blog.csdn.net/kangkjz/article/details/118379264

版权

本文介绍了使用Python高效地从MySQL数据库中读取百万行数据，进行处理后写入到另一张表的方法，旨在解决大数据量操作的效率问题。

摘要由CSDN通过智能技术生成

1、代码如下：

import os
import pandas as pd
import csv
import argparse
import pymysql
import sys


class ConnectionDatabase(object):
    # 连接mysql数据库
    def __init__(self, ip, user_name, passwd, db, char='utf8'):
        self.ip = ip
        # self.port = port
        self.username = user_name
        self.passwd = passwd
        self.mysqldb = db
        self.char = char

        self.MySQL_db = pymysql.connect(
            host=self.ip,
            user=self.username,
            password=self.passwd,
            database=self.mysqldb,
            charset=self.char)

    def mysql_findList(self, sql):
        cursor = self.MySQL_db.cursor()
        MySQL_sql = sql
        results = None
        if not cursor:
            raise (NameError, "数据库连接失败")
        try:
            # 执行SQL语句
            cursor.execute(MySQL_sql)
            # 获取所有记录列表
            results = cursor.fetchall()
        except Exception as e:
            print(e)
            self.MySQL_db.close()
        if results: