最近在处理数据,需要读取excel表格里的数据,发现了一个现象:csv文件比xlsx文件读取快近百倍!!!
先导入包
import time
import pandas as pd
然后读取.xlsx文件,需要225s。
# old_time放在程序运行开始的地方
old_time = time.time()
df1 = pd.read_excel('D:/desktop/1.xlsx')#读取.xlsx文件
data = df1.values #dark为除了第一行以外的数据
# current_time放在程序的末尾
current_time = time.time()
print("运行时间为" + str(current_time - old_time) + "s")
print(data.shape)
#运行时间为225.21297121047974s
#(12837, 1025)
读取.csv文件,只要2.7s
# old_time放在程序运行开始的地方
old_time = time.time()
df1 = pd.read_csv('D:/desktop/1.csv',encoding = 'gbk')#读取.csv文件
data = df1.values #dark为除了第一行以外的数据
# current_time放在程序的末尾
current_time = time.time()
print("运行时间为" + str(current_time - old_time) + "s")
print(data.shape)
#运行时间为2.7050108909606934s
#(12837, 1025)
总之就是很离谱。