python提取百万数据到csv文件

最新推荐文章于 2023-12-02 14:02:04 发布

原创

最新推荐文章于 2023-12-02 14:02:04 发布 · 3.9k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #python #linux #csv

本文介绍如何使用Python高效地从MySQL数据库中提取350万条用户注册信息，包括id和邮箱，导出到CSV文件，整个过程仅耗时3分钟，生成的CSV文件大小约为150MB。分享了实现这一功能的Python脚本deal_csv.py，脚本依赖MySQLdb模块。

今天有需求，需要把系统所有用户注册的id和邮箱等信息导出来提供给他们，在mysql里面count了下，大概有350万左右

就尝试了下用python实现，顺带练习下python写csv的功能，本来想用工具的，但想了下速度会很慢，

整个导出过程大概就3分钟左右，还是蛮快的，毕竟有三百多万，导完后有150M左右

下面是我的脚本deal_csv.py,由于需要连接mysql数据库，脚本依赖MySQLdb模块

__author__ = 'chunyang.wu'
# -*- coding: utf-8 -*-
#!/usr/bin/env python
import MySQLdb
import os
os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import csv

class Handle:
    def __init_db(self):
        self._mysql_db = MySQLdb.connect(host="172.16.1.55",user="test",passwd="123456",port=3306,db="test",unix_socket="/tmp/mysql5.sock")
        self.mysql_cur=self._mysql_db.cursor()
        self.seq = 0

    def __init__(self):
        self.__init_db()

    def _release_db(self):
        self.mysql_cur.close()
        self._mysql_db.close()

    def _do(self):
        self.mysql_cur.arraysize = 50
        select_sql = "SELECT id,email,FROM_UNIXTIME(cre