背景介绍
目前的原始行情数据包含Tick、分钟及日线数据(还有一类是逐笔数据,但由于在目前的数据集中占比极小,故不在此处进行讨论),这类数据通常存在着冗余、缺失及错误等不同类型的数据缺陷,这些问题都会对策略的回测造成直接影响,例如,数据的缺失会导致前后行情数据的价格产生直接的跳空,远超过平均水平的单笔盈利或亏损,这样的异常交易将直接破坏交易参数的筛选,为解决前述问题,需对数据库进行全面的清洗,下面就按照清洗的种类分别进行探讨。
目前的原始行情数据包含Tick、分钟及日线数据(还有一类是逐笔数据,但由于在目前的数据集中占比极小,故不在此处进行讨论),这类数据通常存在着冗余、缺失及错误等不同类型的数据缺陷,这些问题都会对策略的回测造成直接影响,例如,数据的缺失会导致前后行情数据的价格产生直接的跳空,远超过平均水平的单笔盈利或亏损,这样的异常交易将直接破坏交易参数的筛选,为解决前述问题,需对数据库进行全面的清洗,下面就按照清洗的种类分别进行探讨。