开发AI量化策略所遇到的坑

AI只是工具，想要驾驭AI还得自身有点功底，不然反而会被工具所害，甚至从信仰AI变为抵制AI。本文简单介绍开发AI量化选股策略中所遇到的各种坑，希望大家有所收获，少走弯路。

本文为BigQuant用户的实践分享，主要从思想和实操两个层面分享在开发AI量化选股策略中所遇到的各种坑。

策略思想逻辑层面

1. 训练集和测试集不能有所重合 机器学习的基本思路就是在训练集上发现pattern，训练出模型，然后对样本外的预测集数据进行预测。这好比老师平时布置的作业就是训练集，学生们通过平时的作业学习到知识，然后期末老师通过期末试卷来检验学生的学习掌握情况，如果期末试卷和平时作业一模一样，那么学生测试效果就会很好，因为之前他们就见过答案，这样就做不到对学生平时学习能力、知识掌握能力的测试，因此测试集不能和训练集一样。对于AI量化策略同样如此，如果拿模型预测训练集，效果一定很好，毕竟训练模型的时候模型已经“见过”了实际值。

2. 金融时序数据采取以时间点划分训练集和测试集，而不是随机划分 金融数据是标准的时间序列数据，时间序列数据最主要的特征就是具有自相关性，因此使用机器学习、深度学习对金融数据进行建模不能完全照搬传统的机器学习模式。传统机器学习模式对训练集和测试集的划分是采取随机划分，样本之间没有时间先后顺序，完全是独立的样本，因此可以把数据打乱，随机抽取80%的数据作为训练集，剩下的20%数据作为测试集。但是金融市场不同的时间段市场状况是不一样的，时间是划分训练集和测试集最好的直尺。可以参考：《40 Interview Questions asked at Startups in Machine Learnin