背景:关于论文每次从wind数据库中取数据出现的问题,由于从wind数据库中取出的沪深300股指期货数据是从9:15开始的,15:15结束的,而现货数据是从9:30开始,15:00结束,而且数据会出现缺失的情况。写个python希望可以自动处理数据,我取的数据是1分钟高频的历史数据,但是不知道为什么wind数据库中的数据有些点是没有的。为了使期货数据和现货数据对齐我只好把11:30这个本来有值的地方也给删掉了,其中的timeArray就是删除的时间点
#-*- coding: utf-8 -*-
#coding utf-8
# 调用方式 python HandleStocks.py 1.txt 2.txt 开始日期 结束日期
# 如果只有三个参数,那么就会保存所有的数据
import time
import sys
def dateToTimeStamp(str):
return int(time.mktime(time.strptime(str,'%Y/%m/%d')))
timeArray = ['09:14','09:15','09:16','09:17',
'09:18','09:19','09:20','09:21',
'09:22','09:23','09:24','09:25',
'09:26','09:27','09:28','09:29','09:30',
'15:01','15:02','15:03','15:04',
'15:05','15:06','15:07','15:08',
'15:09','15:10','15:11','15:12',
'15:13','15:14','15:15','11:30','13:00']
destination_file = 'destination.txt'
source_file = 'source.txt'
if ~sys.argv[2].isspace():
destination_file = sys.argv[2]
if ~sys.argv[1].isspace():
source_file = sys.argv[1]
len_argv = len(sys.argv)
print 'Num of arguments:', len_argv, 'arguments'
print 'Arguments List:', str(sys.argv)
if len_argv == 5:
beginDateStamp = dateToTimeStamp(sys.argv[3])
endDateStamp = dateToTimeStamp(sys.argv[4])
newf = open(destination_file,'a') #以追加的方式创建一个txt
f = open(source_file,'r') # 源文件
line = f.readline()
for line in f.readlines():
temp = line.split()
tempDateStamp = dateToTimeStamp(temp[0])
if len_argv == 5:
if tempDateStamp < beginDateStamp or tempDateStamp > endDateStamp: # 日期是否对应
continue
if temp[1] in timeArray:
continue
newf.write(line)