本文介绍了多重检验方法在金融领域的应用，以排除数据挖掘造成的运气成分，从而筛选出真正能够解释股票预期收益截面差异的因子。通过Bonferroni、Holm、BHY等多重检验方法，以及Harvey和Liu提出的基于回归的多重检验框架，可以有效地排除靠运气得到的显著因子，找到真正的好因子。这种方法同样适用于基金经理或投资策略的筛选，以排除走运的策略，找到真正能够战胜市场的策略。
作者：石川，量信投资创始合伙人，清华大学学士、硕士，麻省理工学院博士；精通各种概率模型和统计方法，擅长不确定性随机系统的建模及优化。知乎专栏：https://zhuanlan.zhihu.com/mitcshi。未经授权，严禁转载。
摘要：本文介绍几种主流的多重检验方法。它们可以排除 data mining 造成的运气成分，从而有效的从大量因子中选出真正能够解释截面收益率的好因子；该方法也可用于基金经理或投资策略的筛选。
1、引言
两年前，我写了一篇《出色不如走运？》。该文使用顺序统计量（order statistics）解释了当很多投资者（或基金）使用相同的数据构建不同的策略时，最好的那个一定是非常优秀的，但它很有可能仅仅是因为运气好，而非真正的水平高。
如果我们直接从某个经济学规律中找出了一个解释股票预期收益截面差异的因子，并且该因子在统计上显著，那么它可能是真的显著；但如果我们试了 500 个因子，然后找到了一个最牛逼的，那么哪怕它的 t-statistic 非常高，我们也不能保证它就一定是个真的因子。
这就好比我们在大街上随便抓了一个人让他猜 20 次扔硬币的结果，如果他全都猜对了，那么他很可能真的拥有天生神力；但是如果我们让 3 亿人同时玩猜 20 次扔硬币结果的游戏，20 轮过后全对的还会有 250 人左右，但是我们会认为这些人仅仅是运气好。
这些例子背后的数学逻辑是，如果有一个因变量 Y 和一个解释变量 X，通过回归分析后我们发现回归系数的 t-statistic 很高（比如 2.0，对应 5% 的显著性水平），那么从传统的单因素假设检验角度可以认为 X 能够显著的解释 Y。然而，如果我们有很多个变量（比如 100 个）X_1、X_2、…、X_{100}，我们全都试了之后发现第 55 个变量最好。这时，如果它的 t-statistic 也是 2.0，我们却不能说 X_{55} 显著的解释 Y。这是因为仅仅靠运气，这 100 个变量（假设独立）中最好的那个的 t-statistic 大于 2.0 的概率高达 99%。
如何在层出不穷的因子中排除靠 data mining 挖掘的、而找到真正能够解释股票预期收益截面差异的？如何在大量的基金经理（或策略）中排除走运的、而找到真正能够战胜市场的？这些已成为非常迫切的问题。
在《出色不如走运》中，我们只说了仅仅凭运气就能得到非常好的结果，却没有说应该怎样排除运气，找到真正的好因子或者好策略。带着这些问题，今天就来一篇升级版 —— 出色不如走运 (II)？
最后一点提示，本文非常 technical，建议静下心来阅读。此外，熟悉《股票多因子模型的回归检验》、《为什么要进行因子正交化处理？》、以及《用 Bootstrap 进行参数估计大有可为》对阅读本文会有帮助。
2、理论依据
既然是升级版，就不能光靠 order statistics 说事儿了，咱也得武装升级一下理论。
当学术界有大量因子来解释同一个问题 —— 股票截面预期收益（或者有许多不同的策略在同一个市场中交易时），传统的单一统计检验（single testing ，即每次检验一个 hypothesis，比如一个单因子是否有效？某一个基金经理是否能带来超额收益？）就不再适合了；这时候需要 multiple testing（多重检验）。在统计上，multiple testing 指的是同时检验多个 hypotheses。
在金融领域应用 multiple testing 在最近几年得到了飞速发展。这其中的代表人物要数杜克大学的 Campbell Harvey 教授（曾于 2016 年任美国金融协会主席），他自 2014 年以来发表了多篇文章、进行了多个演讲。其中最具代表性的文章包括：
Harvey et al. (2016) 研究了学术界发表的 316 个显著的选股因子，在已有的多重检验方法 —— 包括 Bonferroni adjustment、Holm adjustment以及 Benjamini-Hochberg-Yekutieli (BHY) adjustment —— 的基础上，提出了一种能够利用不同因子之间相关性的全新的多重检验框架，并指出只有在 single testing 中 t-statistic 超过 3（而非人们传统认为的 5% 的显著性水平对应的 2）的因子才有可能在考虑了多重检验之后依然有效。Harvey 同时也指出，3 其实都是非常保守的。
Harvey and Liu (2015a) 利用 Harvey et al. (2016) 的多重检验研究了如何修正策略的 Sharpe Ratio。一般的经验认为策略在实盘中的 Sharpe Ratio 应该是其在回测期内 Sharpe Ratio 的 50%。Harvey and Liu (2015a) 定量计算了不同大小的 Sharpe Ratio 在实盘外的“打折程度”（他们称为 haircut ratio），发现了 haircut ratio 和 Sharpe Ratio 之间的非线性关系。
除上述研究外，Harvey and Liu (2015b) 提出了一个全新的基于 regression 的多重检验框架解决因子挑选问题。它的优势是可以按顺序逐一挑出最显著的因子、第二显著的因子，以此类推，直到再没有显著因子。这么做的好处是可以评价每个新增加的因子在解释股票截面收益率时的增量贡献。这是传统的多重检验无法做到的。此外，该方法也可以被用来找到真正能够战胜市场的基金经理或投资策略。
本文的主要目标是介绍 Harvey and Liu (2015b) 提出的基于 regression 的多重检验方法。考虑到早期的多重检验方法（即 Bonferroni、Holm、BHY adjustments）也非常容易上手便捎带着加以说明。至于 Harvey et al. (2016) 提出的方法，其技术性较强，复制起来比较困难，因此我们今后找机会再聊它（倒是可以先记住它的结论，即 t-statistic 要至少大于 3 才有可能通过该多重检验）。
下面首先来看容易上手的 Bonferroni、Holm 以及 BHY adjustments。
3、Bonferroni、Holm
最低0.47元/天 解锁文章
扫一扫
1909
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
