python处理百万级数据时间表_python百万级数据批量插入postgreSQL数据库 copy_from()执行效率完胜executemany()和to_sql()方法...

(1)executemany()方法批量输入数据到数据库

data是需要插入的数据，为list类型，3列，数据条数有70多万条

import psycopg2

conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***)

cur = conn.cursor()

sql =  "insert into " + table_name + " values(%s, %s, %s)

cur.executemany(sql, data)

conn.commit()

conn.close()

(2)datafame的to_sql()插入数据到数据库

from sqlalchemy import create_engine

result = pd.DataFrame(data)

engine = create_engine('postgresql://user:password@host:port/database')

pd.io.sql.to_sql(result, table_name, engine, index = False, if_exists='append')

(3)强大的copy_from()，是postgresSQ的内置函数

import psycopg2

from sqlalchemy import create_engine

import pandas as pd

from io import StringIO

data1 = pd.DataFrame(data)

# dataframe类型转换为IO缓冲区中的str类型

output = StringIO()

data1.to_csv(output, sep='\t', index=False, header=False)

output1 = output.getvalue()

conn = psycopg2.connect(host=***, user=***, password=***, database=***)

cur = conn.cursor()

cur.copy_from(StringIO(output1), table_name1)

conn.commit()

cur.close()

conn.close()

print('done')

用copy_from()方法，70多万条数据插入到数据库仅仅需要0.06分钟,相比于前两种方法执行效率高太多啦

尝试了多张数据表循环批量插入，之前用executemany()需要15个小时才能插入完成的数据，用copy_from()只需要90分钟左右。

主要参考：