python多进程操作数据库_Python多进程导入CSV至数据库

本文给大家分享的是使用python实现多进程导入CSV文件数据到MySQL的思路方法以及具体的代码分享，有相同需求的小伙伴可以参考下

前段时间帮同事处理了一个把 CSV 数据导入到 MySQL 的需求。两个很大的 CSV 文件， 分别有 3GB、2100 万条记录和 7GB、3500 万条记录。对于这个量级的数据，用简单的单进程／单线程导入 会耗时很久，最终用了多进程的方式来实现。具体过程不赘述，记录一下几个要点：批量插入而不是逐条插入

为了加快插入速度，先不要建索引

生产者和消费者模型，主进程读文件，多个 worker 进程执行插入

注意控制 worker 的数量，避免对 MySQL 造成太大的压力

注意处理脏数据导致的异常

原始数据是 GBK 编码，所以还要注意转换成 UTF-8

用 click 封装命令行工具

具体的代码实现如下：#!/usr/bin/env python

# -*- coding: utf-8 -*-

import codecs

import csv

import logging

import multiprocessing

import os

import warnings

import click

import MySQLdb

import sqlalchemy

warnings.filterwarnings('ignore', category=MySQLdb.Warning)

# 批量插入的记录数量

BATCH = 5000

DB_URI = 'mys