我有个问题。有数百个CSV文件,每一个大约有1000000行。
我需要以一种特定的方式移动数据,但是脚本工作非常慢(它每小时通过10个tosand)。在
我的代码:import sqlite3 as lite
import csv
import os
my_file = open('file.csv', 'r')
reader = csv.reader(my_file, delimiter=',')
date = '2014-09-29'
con = lite.connect('test.db', isolation_level = 'exclusive')
for row in reader:
position = row[0]
item_name = row[1]
cur = con.cursor()
cur.execute("CREATE TABLE IF NOT EXISTS [%s] (Date TEXT, Position INT)" % item_name)
cur.execute("INSERT INTO [%s] VALUES(?, ?)" % item_name, (date, position))
con.commit()
我发现了一个关于隔离级别和单次访问数据库的信息,但效果并不好。在
行CSV文件有一个结构:1,item1 | 2,item2
有人能帮我吗?谢谢!在