我是Mr.看海,我在尝试用信号处理的知识积累和思考方式做量化交易,目的是实现财务自由~
上次说到,为了便于下载股票历史数据,我开发完成了可视化的数据下载模块(下图)。
现在我们继续量化交易系统开发旅程,近期完成的部分是——数据清洗。
一、为什么要做数据清洗
在量化交易领域,历史数据的质量对交易策略的可靠性起着决定性作用。
"回测成功、实盘失败"的现象,往往可以追溯到历史数据质量的问题。
真实的市场环境充满了各种复杂情况。停牌、复牌、除权除息、市场熔断等特殊事件都会在历史数据中留下特殊痕迹。如果不对这些特殊情况进行恰当的清洗和处理,就可能误导策略的开发方向。
对于A股市场来说,这种情况尤为明显。
另外数据源的数据本身可能就存在质量不高的问题。
二、数据清洗策略
1. 缺失值处理
在量化交易中,数据缺失是一个普遍存在的问题,可能源于市场暂停交易、数据采集故障或者通信中断等原因。
缺失值处理的关键在于理解数据的业务特性,采用差异化的填充策略。
目前我采取的策略是这样的&