pythoncsv文件变成sqlite表数据_用Python实现CSV到SQLite的快速数据迁移

我有个问题。有数百个CSV文件,每一个大约有1000000行。

我需要以一种特定的方式移动数据,但是脚本工作非常慢(它每小时通过10个tosand)。在

我的代码:import sqlite3 as lite

import csv

import os

my_file = open('file.csv', 'r')

reader = csv.reader(my_file, delimiter=',')

date = '2014-09-29'

con = lite.connect('test.db', isolation_level = 'exclusive')

for row in reader:

position = row[0]

item_name = row[1]

cur = con.cursor()

cur.execute("CREATE TABLE IF NOT EXISTS [%s] (Date TEXT, Position INT)" % item_name)

cur.execute("INSERT INTO [%s] VALUES(?, ?)" % item_name, (date, position))

con.commit()

我发现了一个关于隔离级别和单次访问数据库的信息,但效果并不好。在

行CSV文件有一个结构:1,item1 | 2,item2

有人能帮我吗?谢谢!在

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值