细节决定成败：人工智能选股全流程重构

Python编程杰哥

于 2024-06-17 19:54:55 发布

阅读量894

点赞数 24

文章标签：人工智能重构金融 chatgpt 算法 AIGC

本文链接：https://blog.csdn.net/xx_nm98/article/details/139753073

版权

摘要

■ 投资逻辑

模型训练的若干细节测试

机器学习模型通过其复杂的非线性方式往往能得到较好的截面选股能力，但由于其“黑箱”的特性使投资者在进行模型训练的过程中对于很多细节问题没有明确的定论。本篇报告尝试探索了以下几个细节问题：包括特征和标签的数据预处理方式，使用全A股票训练还是成分股训练，使用一次性训练、滚动或是扩展训练的效果区别，分类模型和回归模型的差异，损失函数改为IC后是否有进一步提升，不同的树集成方法优劣对比共六个方面。

发现对于截面模型和时序模型而言，其最优数据预处理的方式有所不同。截面模型更适合使用整个训练集进行ZScore标准化，从而保留数据不同日期间的相对大小关系，而时序模型则应对特征和标签分别使用不同的方式处理。在训练方式上，我们也针对一次性、滚动或扩展训练进行对比，发现选取合适的样本区间能使模型更能适应不同的市场环境。在训练所用样本上，我们发现使用全A训练还是成分股训练既与所使用基准有关，同时也与模型本身特性相关，需要分情况使用最合适的样本。而在分类和回归模型的选择上，我们经过对比发现，回归模型所得因子在各指标上都能超过分类模型的效果，保留更有颗粒度的标签数据有助于提升模型的学习效果。而对于损失函数是否有必要直接修改为IC指标，我们经过多种测试，发现并没有带来显著的改善效果，使用MSE作为损失函数较为合适。最终，对于不同的决策树集成算法，我们经过对比发现引入了Drop out思想的DART模型超过了GBDT算法，能有效缓解模型可能存在的过拟合问题。

改进后因子与策略效果

最终，我们保持与原框架一致，使用GBDT和NN两大类模型分别在不同成分股上训练，得到了在样本外效果突出的因子。在沪深300上，因子IC均值10.98%，多头年化超额收益19.66%，多头超额最大回撤6.40%。在中证500上，因子IC均值与沪深300近似，为10.87%，多头年化超额收益率为12.93%。而在中证1000成分股上，因子表现尤其突出，IC均值15.14%，多头年化超额收益率23.48%，多头超额最大回撤3.12%。最终，我们结合交易实际，构建了基于各宽基指数的指数增强策略。其中，沪深300指数增强策略年化超额收益达到15.43%，超额最大回撤为2.87%。中证500指增策略年化超额收益20.50%，超额最大回撤8.39%。中证1000指增策略年化超额收益32.25%，超额最大回撤4.33%。

风险提示

1、以上结果通过历史数据统计、建模和测算完成，在政策、市场环境发生变化时模型存在时效的风险。

2、策略通过一定的假设通过历史数据回测得到，当交易成本提高或其他条件改变时，可能导致策略收益下降甚至出现亏损。

正文

一、不同数据预处理方式的对比

在上篇报告中，我们使用了GBDT和NN两大类模型和两种预测标签分别训练并最终合成，在A股各宽基指数成分股上均有不错的预测效果。但模型训练过程中的众多细节问题并未展开讨论和充分对比验证，在本篇报告中，我们将进一步深入机器学习在量化选股领域的研究，结合数据和市场的实际情况，针对性地优化模型训练过程，争取为投资者更好地使用机器学习模型提供参考依据。

为避免随机种子对预测结果产生的影响，我们对于所有模型均使用5个固定随机种子取均值的方式使结果更具参考价值。所用特征数据集、训练区间划分等细节可参考《Alpha掘金系列之九：基于多目标、多模型的机器学习指数增强策略》。

1.1数据准备与预处理的方式

由于通过机器学习训练得到最终结果存在较高的不可解释性，保证输入模型数据的准确性和细节的严谨性变得尤为重要。

在数据源层面上，由于主流的行情数据来源对于停牌股票当天的价格数据均会赋值为停牌前一天的价格，仅成交量会赋值为0。若股票连续停牌时间较短，则与价格相关的特征不会受到太大影响，但若特征计算过程中使用了成交量信息，可能会出现较大或较小的异常值。若停牌时间较长，则价格相关的特征会长时间没有变化，同样对于模型来说属于污染数据难以学习。因此，我们首先将停牌日的股票行情数据均统一赋值为NaN，计算相关特征时则会对应计算为NaN。

在标签层面，由于我们希望模型学习到的结果用来在次日开始调仓，与回测时保持一致。因此，对于月度调仓的策略而言，我们统一使用T+1至T+21日的收盘价信息计算收益率等数据作为标签。

由于不同特征和标签的量纲天然不同，若直接将数据喂入模型可能会使模型难以有效高效地实现梯度下降，因此进行适当的标准化处理一般而言是有必要的。而标准化处理的具体方式有很多选择：

截面Z-Score标准化（CSZScore）：对所有数据按日期聚合后进行Z-Score处理，主要目的在于保证每日横截面数据的可比性。
截面排序标准化（CSRank）：对所有数据按日期聚合后进行排序处理，将排序结果作为模型输入。此方法主要目的在于排除异常值的影响，但缺点也很明显，丧失了数据间相对大小关系的刻画。
数据集整体Z-Score标准化（ZScore）:截面标准化会使数据损失时序变化信息，而整个数据集做标准化可以将不同日期的相对大小关系也喂入模型进行学习。当然此处需要注意数据泄露问题，我们使用训练集算出均值和标准差后，将其用于整个数据集进行标准化。
数据集整体Minmax标准化（MinMax）：相较于ZScore标准化而言，MinMax能使数据严格限制在规定的上下限范围内，且保留了数据间的大小关系。
数据集整体Robust Z-Score标准化（RobustZScore）：由于标准差的计算需要对数据均值偏差进行平方运算，会使数据对极值更敏感。而能有效解决这一问题，使得到的均值标准差指标更加稳健。

1.2 不同数据预处理方式对比

我们针对以上数据预处理方式进行遍历测试，以LightGBM和GRU分别代表两类模型，不同处理方式所得到因子在沪深300成分股的效果如下：

我们此处展示了在预测目标分别为未来20日超额收益率和绝对收益率的情况下，因子的IC均值、多头超额收益率和多头超额回撤表现。表中Columns为预测目标的处理方式，Index为特征的处理方式。可以看出：

对特征做截面处理会显著影响LightGBM的学习效果，不同日期间的相对大小关系被忽视会影响截面模型对于未来收益率的预测能力。
若使用绝对收益率作为预测目标，则必须进行截面标准化处理。否则模型会受到市场整体行情干扰，彻底失去学习能力。
相较于超额收益率作为预测目标，绝对收益率能获得相对更高的IC（不到1%），但多头超额和回撤水平显著不如超额收益率。
若使用超额收益率作为预测目标再进行截面标准化处理，效果与绝对收益率基本一致，反而失去了其超额收益率的信息。而对整个数据集进行标准化处理能得到相对更优的多头超额和回撤水平。几类对比发现，RobustZscore表现更加稳健。

综上，针对GBDT类模型，我们使用超额收益率作为预测目标，特征和标签均使用RobustZscore处理。

类似地，我们在GRU模型中进行同样测试：

可以发现，部分在GBDT类模型成立的结论在时序模型上同样成立。不过，不同之处在于：

无论使用哪种预测目标，进行截面标准化都是一种更优选择。我们认为主要原因在于，时序类模型需要学习一个时间窗口（step_len）内的时序变化信息，而截面标准化使每天的标签均处于同样的分布水平，从而能使模型对股票间不同日期相对大小关系的变化更加敏感。
但特征层面作为模型的输入变量，截面标准化会使数据丧失很多时序信息。因此对特征进行截面标准化也会使预测结果在各指标有相对更差的表现。
此外，考虑到截面排序会使数据分布区间发生变化，我们尝试了叠加截面标准化的操作，使数据分布区间回归正常状态。发现最终预测效果差异不大，无太大必要。

综上，针对（时序）神经网络类模型，我们选择超额收益率作为预测目标，特征采用RobustZScore方式处理，标签使用CSRank处理。

二、全A训练还是成分股训练？

在上篇报告中，我们使用各宽基指数成分股数据进行训练，但并未对比全A数据进行训练的效果，不同指数、不同模型的结论是否会有不同？

考虑到A股不同宽基指数的成分股在多个方面都有较大差异性，传统使用多因子选股进行策略构建时同样会考虑不同域上使用不同的因子以达到更好的效果。我们认为，对机器学习领域而言，使用成分股训练的好处在于能使模型更有针对性的对特定类型的股票进行学习，从而学习到更适用的特征和特征加权方式。而这种方式的明显缺陷在于会损失样本数据集的规模，有一定可能会导致模型难以充分学习。

此处我们分别对LightGBM和GRU在沪深300、中证500和中证1000上进行训练，效果如下：

首先，由于沪深300和全A股票的中位水平在市值、行业和其他风格上均有明显不同，其选股逻辑必然也有较大差异。在针对沪深300的训练过程中，LGBM和GRU展现出了不同的规律。对于更需要大量样本进行投喂训练的GRU而言，明显使用全A股票会对预测结果带来明显的提升。而对于具有少量样本就能充分学习的LightGBM而言，使用沪深300成分股能够有效使模型学到大市值股票的选股逻辑和规律，相较于全A而言有明显优势。

对于中证500而言，情况略有不同，对于GRU模型，同样是大样本量的全A训练更具优势。而LightGBM模型使用两种成分股样本训练效果已经比较接近，使用成分股训练时，虽然IC相关指标略低一些，但多头和多空的最大回撤明显更低，具有在不同市场环境中更稳定的优势。

由于中证1000成分股在市值上已经非常接近全A股票的中位数水平，且成分股本身数量较多，因此在中证1000上，使用成分股或全A训练的预测效果已经非常接近。在样本特征极其相似的情况下，LightGBM使用全A训练效果略微更优。GRU模型则差异极小，当样本量上升一定水平后，继续扩大样本量所带来的提升已经比较有限。

三、一次性、滚动还是扩展训练？

一般而言，对于机器学习模型进行选股预测一方面需要考虑模型能够及时更新，保证最新的市场规律被及时反映到模型的参数中，但另一方面也要考虑过拟合风险，不能使某些年份的极端市场行情对模型的泛化性能产生负面影响。

因此，我们可以考虑使用一个固定的时间区间数据集进行完整一次性训练，也可以分年度将训练集、验证集和测试集向前滚动训练，或是保持训练集起始时间不变进行扩展训练。究竟哪种方式更适合A股的市场环境，能得到更优的选股效果，我们此处对这三种情况分别进行测试讨论。

训练时，我们控制了训练集和验证集长度与一次性训练保持一致。均为8年训练集，2年验证集。在滚动或扩展训练的情况下，测试集均为一年。

我们首先观察了不同训练方式下的因子基本指标，可以看出，对于LightGBM而言，一次性训练效果明显更优，无论从IC、多空相关指标来看，均要好于滚动或扩展训练集的方式。而对于GRU而言，三种训练效果差距缩窄，一次性训练的预测结果主要在回撤控制上具有一定优势。

不论在哪种训练方式下，至少8年的训练集长度已经足够覆盖一整轮A股的行情周期，且在扩展训练过程中，每次新增的一年训练集占整个训练集比例较小，真正影响到模型在样本外预测能力的可能在于验证集的选取。

由于训练过程中为了避免过拟合并找到合适的参数，我们都会设置一定的早停轮数N，验证集上的损失大小若连续N轮没有下降就停止训练。因此在滚动或扩展训练的情况下，验证集的不断更新会使模型的早停标准跟随市场交易逻辑的变化而变化，在碰到极端市场行情时，或过去两年的交易逻辑在当年不再适用时，可能导致测试集上效果出现较大下滑，这在更容易过拟合的LightGBM模型上会更加明显。

从图中我们可以看出，不同训练方式的净值出现差距基本从2021年开始，一定程度上可以说明，19、20年的市场规律与其余年份均有区别，这可能与彼时核心资产报团、大小盘风格轮动等均有一定关系。

四、分类还是回归？

常见的机器学习模型可以根据任务需求分为分类任务或回归任务，部分模型由于其算法设计只能用来进行其中一类任务，常见用于分类任务的模型包括支持向量机、逻辑回归、K近邻等，回归任务常见算法包括线性回归、决策树等。而我们所使用的GBDT和神经网络模型本质都是通过梯度下降的方式进行优化，只要保证损失函数是处处可微的，可以通用于回归或者分类任务。

在量化选股领域更适合使用回归还是分类任务目前并没有明确的定论，在本篇报告中，我们使用MSE作为回归任务的损失函数，Cross Entropy（交叉熵）作为分类任务的损失函数，对LightGBM和GRU两个模型进行改造。对于分类任务而言，我们将截面超额收益率分位数0.3,0.7作为区间划分依据，将所有股票分为三类，得到模型对于每类标签的概率值，进而得到对应因子值。

可以看出，不论是LightGBM还是GRU，回归模型在IC指标上均有一定优势，而在多空收益表现上优势更加突出。我们考虑其原因在于，保留每个样本标签的独立性，能够使不同股票的收益率更有区分度，从而加强了模型的学习效果。

此外，我们同样尝试了更多分组的分类方式，最多扩充为10分类，并尝试了不同的预测概率使用方法，在部分情况下效果略有提升，但均对结论没有影响，此处限于篇幅不再展开。

五、损失函数是否有必要修改为IC？

如果从损失函数的角度出发进一步扩展，可以考虑将其修改设计为我们更关注的因子评价指标，如RankIC秩相关系数等，从而能够通过梯度下降的方式直接优化得到IC更高的因子。使用此类损失函数能否得到符合我们预期的因子？因子的各项指标能否同步提升？我们同样基于LightGBM和GRU两个模型在沪深300成分股上进行测试。

由于LightGBM不涉及分批次（Batch）训练，每棵树均投喂了整个训练集样本（有随机抽样），而GRU等神经网络模型可以选择按交易日分批次的方式进行训练，将每个交易日的所有股票限定在一个批次内，并选定若干个交易日作为一个批次，从而能够实现按日期先求出IC再时序取平均的方式得到最终的损失函数值。

此处，我们尝试了MSE、IC（pearson相关系数）、RankIC（spearman秩相关系数）三种损失函数，对于GRU模型而言，我们使用

不分交易日划分Batch且整个样本内计算损失函数（TotalBatch-TotalLoss），
按照交易日划分Batch且整个样本内计算损失函数（DailyBatch-TotalLoss），
按照交易日划分Batch且日度计算损失函数后求均值（DailyBatch-DailyLoss），

共三种方式进行批处理和损失函数计算。从以上主要指标可以看出：

使用IC或RankIC作为损失函数能使GRU模型训练得到IC均值更高的因子，但整体提升幅度并不明显。而LightGBM使用IC作为损失函数反而使IC均值出现一定程度下降。
从ICIR，多头收益、多空收益的角度而言，MSE损失函数反而具有一定优势。而回撤相关指标则对于不同损失函数未能展现出明显规律。
值得一提的是，计算日度IC并在时序上求均值的方式虽然在回撤水平上有一定优势，但其IC指标、多头收益反而不如直接使用整个训练集进行计算。

因此，将损失函数修改为IC、RankIC并无太大必要，对样本的批次处理按照交易日划分并以此计算损失函数也无明显优势。

六、GBDT, DART or RF?

我们知道，决策树是通过递归的方式对每个结点进行递归边界测试，判断该结点所包含的样本是否都属于同一个label。若不是，则根据信息增益程度的增加继续利用特征对样本进行划分。

而单棵决策树一般很难达到令人满意的预测效果，因此有多种不同的集成算法以增强模型能力。包括采用Bootstrap采样的方式同时并行训练多棵树，再进行取均值的方式得到了随机森林（RF）；按照顺序串行训练多棵决策树，并将损失函数设定为前一棵树训练后的残差值从而不断逼近最终预测目标的GBDT算法。

而DART（Dropouts meet Multiple Additive Regression Tree）算法是一种借鉴了神经网络中drop out思想的决策树集成算法。根据Rashmi，Gilad-Bachrach，2015的介绍，传统的MART算法会使在后期参与训练的决策树只会影响极少量样本的预测，带来的贡献过小，可能会导致模型在面对从未看到过的数据时表现不佳，并且使模型对于早期的几棵树过于敏感。

而早期被提出的Shrinkage思想认为，若每棵树训练后在当前预测值后面新增一个步长的限制，从而使每棵树都通过小步逐渐逼近而非一次性迈大步逼近结果，更能有效防止过拟合的发生。

DART则是对Shrinkage的又一步改进，该算法在每次循环训练决策树时，随机抽取之前的部分决策树作为一个子模型，并用该子模型计算梯度。此外，通过增加一个缩放项的方式，模型保证了新学习的决策树和被Dropped的决策树相加后不会超过原本的目标值。从上图中也可以看出，即便是到了训练后期的决策树，其对于整个模型的贡献程度依然能保持在一个较高的水平。

我们针对LightGBM模型在沪深300成分股分别尝试了三种不同的算法，得到因子主要指标如下：

可以看出，DART算法在各项指标中均表现最佳，多头年化超额收益率相较于GBDT有接近2%的提升，且回撤水平也有所降低。而随机森林表现相对较差，与另两类算法有较大差距。可以在一定程度上说明，量化领域训练时使用带有Drop Out的决策树集成算法能够均衡不同顺序决策树的贡献程度，避免对早期决策树过于敏感而导致的过拟合情况。

七、改进后因子与策略效果

基于上述对模型训练过程多处细节调整的对比测试后，我们整合所得有效结论，并分别在沪深300、中证500和中证1000上重新训练所有模型。此处我们所用模型与上篇报告中基本保持一致，去除掉训练过于耗时且增量信息有限的Double Ensemble模型，共7个模型进行训练测试。

7.1 因子测试结果

每个模型均使用5个随机种子取均值的方式作为最终结果，同时为考虑可交易性，均将因子值向后推一天。回测时间为2015年2月1日-2023年9月30日，每月月初进行调仓。

合成后因子在沪深300成分股的效果如下：

可以看出，两类模型在沪深300成分股均有优异的选股表现，进行行业市值中性化后，IC均值分别为8.08%和10.68%，两类模型进一步合成后IC均值提升至10.98%。多头年化超额收益率达到19.66%，多头超额最大回撤仅为6.40%，相较于单类模型有一定提升。

在中证500中，我们以同样方式对两类模型所得因子进行测试，因子主要指标如下：

可以看出，因子在中证500整体表现同样突出，两类模型合成后的因子IC均值为10.87%，多头年化超额收益率为12.93%，多头超额最大回撤为8.85%。相较于沪深300的收益水平和稳定性略有下降。

不过，在中证1000成分股中，因子表现极为突出，两类模型合成因子IC均值达到16.01%，行业市值中性化后依然有15.14%。而在多头端，年化超额收益率为22.93%，中性化后的因子收益进一步提升至23.48%，多头超额最大回撤也仅为3.12%。

7.2 基于GBDT+NN的指数增强策略

为进一步贴近投资实际，我们此处构建了基于上述机器学习模型的指数增强策略。通过马科维茨的均值方差优化模型，对投资组合的跟踪误差进行限制，并控制个股偏离程度以减少策略波动水平，最大化预期超额收益率。

在本篇报告中，我们将年化跟踪误差控制为最大不能超过5%。使用优化器对投资组合权重进行优化，回测期为2015年2月1日至2023年9月30日，以每月第一个交易日的收盘价进行月频调仓，假定手续费率为单边千二，在各宽基指数上的测试结果如下。

可以发现，经过组合优化的控制后，策略表现进一步提升，以沪深300作为基准，年化超额收益率达到15.43%，超额最大回撤仅为2.87%。分年度来看，策略仅在2019年超额收益未达到10%，其余年份均有较高的超额收益水平。

同样地，我们在中证500指数成分股进行指数增强策略的构建，策略的年化超额收益率达到20.50%，超额最大回撤为8.39%。

分年度来看，中证500指数增强策略稳定性略差于沪深300，超额收益率在2019年较低，其余年份超额收益均在10%以上。

最后，使用同样的方式我们构建了机器学习中证1000指数增强策略，策略的年化超额收益率达到32.25%，超额最大回撤为4.33%。

分年度来看，策略在中证1000上表现最为稳定，每一年的超额收益均在20%以上。

总结

机器学习模型通过其复杂的非线性方式往往能得到较好的截面选股能力，但由于其“黑箱”的特性使投资者在进行模型训练的过程中对于很多细节问题没有明确的定论。本篇报告尝试对投资者主要关心的一些细节问题分别测试、对比并探讨其背后原理。

主要探索领域包括特征和标签的数据预处理方式，使用全A股票训练还是成分股训练，使用一次性训练、滚动或是扩展训练的效果区别，分类模型和回归模型的差异，损失函数改为IC后是否有进一步提升，不同的树集成方法优劣对比。

最终，我们保持与原框架一致，使用GBDT和NN两大类模型分别在不同成分股上训练，得到了在样本外效果突出的因子。最终，我们结合交易实际，构建了基于各宽基指数的指数增强策略。其中，沪深300指数增强策略年化超额收益达到15.43%，超额最大回撤为2.87%。中证500指增策略年化超额收益20.50%，超额最大回撤8.39%。中证1000指增策略年化超额收益32.25%，超额最大回撤4.33%。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述