沪深两市股票数量目前为6798只,选股所需要的数据处理时间较长。通过对比,发现使用feather格式可以明显减少数据读写时间,因此,通过修改前面的程序,将数据保存为feather格式。
需要安装feather支持库。
embedbble python中的安装方式为:
python -m pip install feather-format
使用免费的freepy可直接运行该python代码。
使用freepy运行该代码,无需安装任何支持库。
freepy下载http://1hwj.net/forum.php?mod=viewthread&tid=51&page=1&extra=#pid51
转换50只股票所需时间对比:
上海数据转换xlsx完成。
用时:5.12804388999939秒
上海数据转换feather完成。
用时:0.5816001892089844秒
转换全部7041支股票数据为feather格式:
上海数据转换完成。
用时:33.57634997367859秒
深圳数据转换完成。
用时:95.14454865455627秒
源码:
# -*- coding: utf-8 -*-
"""
通达信日线数据转换为feather格式
由于比较费时,例子中两市只分别转换了5只股票。
修改 if i < 5: 中的5为任意数字,可以转换更多。
feather安装:
pip install feather-format
需要修改以下文件夹为通达信本机对应文件夹:
pathdir_sh = r'C:\new_mszq_v6\vipdoc\sh\lday'
pathdir_sz = r'C:\new_mszq_v6\vipdoc\sz\lday'
Created by freepy.
2022/1/28 11:23:36
"""
from struct import *
import pandas as pd
import os
# import sys
import time
# stock_list = []
# linename=['code','date','open','high','low','close','amout','vol']
# df_all_stock = pd.DataFrame(stock_list, columns=linename)
def day2csv_data(dirname, fname, targetDir):
ofile=open(dirname + os.sep + fname, 'rb')
buf=ofile.read()
ofile.close()
ifile=open(targetDir + os.sep + fname+'.csv','w')
num=len(buf)
no=num/32
b=0
e=32
line=''
linename=str('date')+','+str('open')+','+str('high')+','+str('low')+','+str('close')+','+str('amout')+','+str('vol')+'\n'
ifile.write(linename)
for i in range(int(no)):
# a=unpack('IIIIIfII',buf[b:e])
a = unpack('IIIIIfII',buf[b:e])
line = str(a[0])+','+str(a[1]/100.0)+','+str(a[2]/100.0)+','+str(a[3]/100.0)+','+str(a[4]/100.0)+','+str(a[5])+','+str(a[6])+'\n'
ifile.write(line)
b = b+32
e = e+32
ifile.close()
df_gp = pd.read_csv(targetDir + os.sep + fname + '.csv', sep=',')
#df_gp.to_excel(targetDir + os.sep + fname + '.xlsx')
df_gp.to_feather(targetDir + os.sep + fname + '.feather')
print("可能需要较长时间,请耐心等待......")
targetDir=r'.\dataout\tdx'
# 目标文件夹若不存在,则创建
if not os.path.exists(targetDir):
os.makedirs(targetDir)
time.sleep(1)
# 沪市数据转换
pathdir_sh = r'C:\new_mszq_v6\vipdoc\sh\lday'
listfile_sh = os.listdir(pathdir_sh)
start = time.time()
i = 0
for f in listfile_sh:
i+=1
if i < 5:
day2csv_data(pathdir_sh, f, targetDir)
print ('上海数据转换完成。')
stop = time.time()
print("用时:%s秒"%str(stop-start))