2020-12-03

Spyder
操作随机生成excel，自定义数据内容。然后创建SQlite数据库，将生成的excel文件中的数据导入
from random import choice, randrange from string import digits, ascii_letters from os import listdir, mkdir
from os.path import isdir import sqlite3
from time import time
from openpyxl import Workbook, load_workbook

def generateRandomData():
‘’’ 生成测试数据，共 50 个 Excel 文件，每个文件有 5 列随机字符串’’’ # 如果不存在子文件夹 xlsxs，就创建
if not isdir(‘xlsxs’): mkdir(‘xlsxs’)

total 表示记录总条数

global total

候选字符集

characters = digits+ascii_letters

生成 50 个 Excel 文件

for i in range(50):
xlsName = ‘xlsxs\’+str(i)+’.xlsx’

随机数，每个 xlsx 文件的行数不一样

totalLines = randrange(10**4)

创建 Workbook，获取第 1 个 Worksheet wb = Workbook()

ws = wb.worksheets[0]

写入表头

ws.append([‘a’, ‘b’, ‘c’, ‘d’, ‘e’])

随机数据，每行 5 个字段，每个字段 30 个字符

for j in range(totalLines):
line = [’’.join((choice(characters)
for ii in range(30))) for jj in range(5)]
ws.append(line) total += 1

保存 xlsx 文件

wb.save(xlsName)

def eachXlsx(xlsxFn):
‘’‘针对每个 xlsx 文件的生成器’’’

打开 Excel 文件，获取第 1 个 Worksheet wb = load_workbook(xlsxFn)

ws = wb.worksheets[0]
for index, row in enumerate(ws.rows): # 忽略表头
if index == 0: continue
yield tuple(map(lambda x:x.value, row))

def xlsx2sqlite():
‘’‘从批量 Excel 文件中导入数据到 SQLite 数据库’’’ # 获取所有 xlsx 文件名
xlsxs = (‘xlsxs\’+fn for fn in listdir(‘xlsxs’))

连接数据库，创建游标

with sqlite3.connect(‘dataxlsx.db’) as conn: cur = conn.cursor()
for xlsx in xlsxs:
#批量导入，减少提交事务的次数，可以提高速度
sql = ‘INSERT INTO fromxlsx VALUES(?,?,?,?,?)’
cur.executemany(sql, eachXlsx(xlsx)) conn.commit()

用来记录生成的随机数据的总行数

total = 0

生成随机数据

generateRandomData()

导入数据，并测试速度start = time() xlsx2sqlite()

delta = time()-start

print(‘导入用时：’, delta)
print(‘导入速度（条/秒）：’, total/delta)