通达信日线数据转换为feather格式，提高后续数据处理速度

沪深两市股票数量目前为6798只，选股所需要的数据处理时间较长。通过对比，发现使用feather格式可以明显减少数据读写时间，因此，通过修改前面的程序，将数据保存为feather格式。

需要安装feather支持库。

embedbble python中的安装方式为：

python -m pip install feather-format

使用免费的freepy可直接运行该python代码。

使用freepy运行该代码，无需安装任何支持库。

freepy下载http://1hwj.net/forum.php?mod=viewthread&tid=51&page=1&extra=#pid51

转换50只股票所需时间对比：

上海数据转换xlsx完成。
用时:5.12804388999939秒

上海数据转换feather完成。
用时:0.5816001892089844秒

转换全部7041支股票数据为feather格式：

上海数据转换完成。
用时:33.57634997367859秒
深圳数据转换完成。
用时:95.14454865455627秒

源码：

# -*- coding: utf-8 -*-
"""
通达信日线数据转换为feather格式
由于比较费时，例子中两市只分别转换了5只股票。
修改 if i < 5: 中的5为任意数字，可以转换更多。

feather安装：
pip install feather-format

需要修改以下文件夹为通达信本机对应文件夹：
pathdir_sh = r'C:\new_mszq_v6\vipdoc\sh\lday'
pathdir_sz = r'C:\new_mszq_v6\vipdoc\sz\lday'

Created by freepy.
2022/1/28 11:23:36
"""


from struct import *
import pandas as pd
import os
# import sys
import time

# stock_list = []
# linename=['code','date','open','high','low','close','amout','vol']
# df_all_stock = pd.DataFrame(stock_list, columns=linename)
def day2csv_data(dirname, fname, targetDir):
    ofile=open(dirname + os.sep + fname, 'rb')
    buf=ofile.read()
    ofile.close()
    ifile=open(targetDir + os.sep + fname+'.csv','w')
    num=len(buf)
    no=num/32
    b=0
    e=32
    line=''
    linename=str('date')+','+str('open')+','+str('high')+','+str('low')+','+str('close')+','+str('amout')+','+str('vol')+'\n'
    ifile.write(linename)
    for i in range(int(no)):
       # a=unpack('IIIIIfII',buf[b:e])
       a = unpack('IIIIIfII',buf[b:e])
       line = str(a[0])+','+str(a[1]/100.0)+','+str(a[2]/100.0)+','+str(a[3]/100.0)+','+str(a[4]/100.0)+','+str(a[5])+','+str(a[6])+'\n'
       ifile.write(line)
       b = b+32
       e = e+32
    ifile.close()

    df_gp = pd.read_csv(targetDir + os.sep + fname + '.csv', sep=',')
    #df_gp.to_excel(targetDir + os.sep + fname + '.xlsx')
    df_gp.to_feather(targetDir + os.sep + fname + '.feather')

print("可能需要较长时间，请耐心等待......")

targetDir=r'.\dataout\tdx'
# 目标文件夹若不存在，则创建
if not os.path.exists(targetDir):
    os.makedirs(targetDir)

time.sleep(1)

# 沪市数据转换
pathdir_sh = r'C:\new_mszq_v6\vipdoc\sh\lday'

listfile_sh = os.listdir(pathdir_sh)
start = time.time()
i = 0
for f in listfile_sh:
    i+=1
    if i < 5:
        day2csv_data(pathdir_sh, f, targetDir)

print ('上海数据转换完成。')

stop = time.time()
print("用时:%s秒"%str(stop-start))