量化投资学习——高频交易数据清洗

目前刚刚入职公司，拿到的第一份任务是做数据清洗，关于数据清洗，还是要看国外的大师的研究，根据《统计视角下的金融高频数据挖掘理论与方法研究》一书（这里要多说一句的是，jackson啊jackson，你总是能找到一些很好的书，这完全没有问题，但是你又看了多少呢？恐怕没好好看吧，看了书一定要及时做笔记，做记录，不然你这个乱七八糟的脑子，根本就记不住什么东西的）

在文章里，虽然找不到原文了，但是里面提到Brownlees和Gallo（2006）提到了数据清洗的研究，在Zhang（2006）提到了（multi-scale realized volatility ，MSRV）进行数据清洗的操作

电子书在线链接在这里：电子书链接

还是没找到完整的书，sigh

除了这个以外，在期货数据：数据清理要点 里提到了一些关于数据清洗的内容，其中说到了一些，可能有参考意义的是，

错误来源

从数据来源上看，造成数据错误的原因，无非有两个

• 交易所推送数据错误：有可能是交易所服务器不稳定、网络传输中断、数据感染等
• 本地接收数据错误：数据编码不一致、数据写入文件不正确、字段不匹配等

（非交易时间段这个不存在的）

交易所测试数据

为了测试系统、修复程序错误等，交易所往往会推送部分测试数据。千万要谨记，这些数据仅做测试使用，并非真实的交易数据。因此，这部分测试数据需要从我们的数据库删除掉。

• 数据为负：这包括价格数据和数量数据，如LastPrice、OpenPrice、HighestPrice、LowestPrice、ClosePrice、Volume、Turnover、BidPrice、BidVolume、AskPrice、AskVolume、OpenInterest。这个很容易理解，因为这些变量的范围本身应该是 [0,N)[0,N)，其中 N∈R+N∈R+ 。因此，任何这类变量为负数的数据行，都需要删除掉。
• 数据标签为 e+301 等异常大的数据，真实的 N<¯N 。

• 排除价格或数量变量小于 0 的数据
• 排除数据异常大的、明显是交易所用于测试目的、而非真实交易产生的数据