海龟交易法则12_脚踏实地地测试

海龟交易法则12:脚踏实地地测试

在观察历史模拟结果的时候，你对未来的趋势充其量只能有一个粗略的感觉。幸运的是，即使是粗略的认识也能赋予一个优秀交易者足够大的优势。要理解你这种认识的误差幅度（或者说粗略程度）会受到哪些因素的影响

海龟交易法则12.1:测试的统计学基础

通过样本特征推断总体特征是统计学中的一个领域，也是历史检验结果的未来预测价值的理论基础。
样本分析在统计学上的有效性受两大因素的影响：一个是样本的规模，一个是样本对总体的代表性
短期测试的问题在于，市场在这段较短的时期内可能仅出现了一两种状态，而不是我们在第二章中所说的全部四种状态.
比如，如果市场一直处于稳定中有波动的状态，那么均值回归和反趋势策略的效果会非常好。但如果市场状态改变了，你所测试的方法可能就不再那么有效了。
所以，你的测试方法必须尽可能地提高你所测试的样本对未来的代表性。

海龟交易法则12.2:不够稳健的现有指标

公认的那些业绩衡量指标不够稳健。寥寥几次交易中的微小变化就能对这些不稳健指标的值产生巨大的影响。

海龟交易法则12.3:稳健指标

回报率指标对测试期的起止日非常敏感，而回报率又是MAR比率和夏普比率的要素（对MAR比率来说是CAGR，对夏普比率来说是月度平均回报率）。

海龟交易法则12.4:回归年度回报率

线形回归线和它所代表的回报率为我们提供了一个新指标，我称之为RAR(regressedannualreturn,回归年度回报率）。这个指标对测试期起止日的变化远不像CAGR那样敏感。
用于计算MAR比率的最大衰落指标也对测试起止曰的变化高度敏感。只要最大衰落发生在测试期的前后任意一端，MAR就会受到很大的影响。
衰落程度只是个一维的指标：并不是所有的30%衰幅都有同样意义。如果一个系统仅经历了两个月的衰落就转而创出新高，我并不会太在意，但一次持续两年的衰落就是另外一回事了。
恢复时间或衰落期的长度本身也是非常重要的。

海龟交易法则12.5:R立方：一个新的风险回报比指标

稳健风险回报比率（robustrisk/rewardratio)。我也喜欢称之为R立方，
R立方的分子就是RAR，分母也是个新指标，称之为长度调整平均最大衰落（length-adjustedaveragemaximumdraw-down)。这个分母指标有两个要素：平均最大衰落和长度调整。
如果RAR是50%,平均最大衰落是25%,而平均衰落长度是1年，也就是365天，那么R立方就等于2.0——也就是50%/(25%X365/365)。作为一个风险回报比指标，R立方从程度和时间这两个角度考虑了风险问题。它所使用的指标对测试起止日的变化并不是那么敏感，因此它比MAR指标更稳健——也就是说，它不太容易随着数据的轻微变动而发生大的变化。

海龟交易法则12.6:稳健夏普比率

稳健夏普比率就是RAR除以年度化的月度回报标准差。
很明显，稳健指标的敏感度要低于现有的指标。
相比起不稳健的指标，稳健的指标也不太容易受到运气因素的影响。
使用稳健指标还能帮助你避开过度拟合的危害，因为它们不太容易因为数据的微小变动而发生大的变化。

海龟交易法则12.7:代表性样本

样本交易和检验结果对未来有多大的代表性是由两大因素决定的：

市场数量：我们所测试的市场越多，我们就越有可能将市场的各种不同状态包含在内。  
测试时间：时间跨度较长的测试会涵盖更多的市场状态，而且更有可能将具有未来代表性的历史时期包含在内。  

海龟交易法则12.8:样本规模

样本规模这个概念很简单：你需要一个足够大的样本才能做出有效的统计学推理。样本越小，推理就越粗糙；样本越大，推理就越准确。这方面不存在某个神奇的标准数字，样本就是越大越好，越小越糟。
在你测试一条新法则时，你必须衡量一下这个法则的应用频率。如果一条法则在整个测试期内只有四次生效，那么从统计学上说，你无从判断这条法则是否有用。
有个办法可以解决这个问题：你可以设法将这条法则一般化，提高它发挥作用的频率。这样一来，样本规模就会扩大，法则测试的统计学说服力也就相应提高了。
有两种常见的做法可能将小样本规模的问题进一步放大：
一个是单一市场最优化，一个是系统设计过于复杂。

单一市场最优化：单独应用在各个市场中的最优化方法更难用足够大的样本进行测试，因为单个市场上的交易机会要少得多。  
过于复杂的系统：复杂的系统有很多法则，有时候很难判断某一条法则发挥作用的频率或程度。因此，如果用过于复杂的系统进行测试，我们更难对测试结果的说服力抱有信心。  
出于这些原因，我不建议针对单个市场进行最优化，而且我更喜欢更具统计学意义的简单理念。  

海龟交易法则12.9:洞察未来

使用稳健指标的必要性，以及采集足够大的代表性样本的重要性。一旦你做到了这一点，你就可以开始思考市场变换的潜在影响，思考为什么连老练的交易者们设计的优秀系统也会经历业绩的盛衰起伏。你不可能知道，也不可能预见到一个系统的表现会怎么样，这是现实。充其量，你只能借用有效的工具来把握系统的潜在效果，以及影响这种效果的因素。

幸运的系统  
如果一个系统在最近一段时间表现得特别出众，这也有可能是个运气问题，也或许市场对这种系统来说正处于理想的状态中。一般来说，这种冒尖的系统在好时期过后很容易转人困难时期。  
参数调整检验  
在决定采用一个系统之前先体验一下参数的作用是个很好的习惯，我称之为参数调整检验。挑出几个系统参数，大幅调整参数值，比如20%?25%，然后看看效果怎么样。  
滚动最优化窗口  
还有一个方法可以帮助你直接体验从虚拟测试到现实交易的转变，那就是滚动最优化窗口（rollingoptimizationwindow)。  

海龟交易法则12.10:蒙特卡洛检验

蒙特卡洛检验是判断系统稳健性的一种方法，可以回答这样的问题：“如果把历史稍作变化会怎么样？未来又会怎么样？”通过蒙特卡洛检验，你可以用代表历史实际数据的一系列事件来生成另外
一种略有变化的别样景象。

交易调整：随机性地改变实际模拟结果中的交易命令和起始曰，然后用调整后的交易命令和这些交易的损益水平来调整资产净值。  
净值曲线调整：在初始净值曲线中随机选择一些部分，将它们组合成新的净值曲线。  

在这两种方法中，净值曲线调整所生成的别样净值曲线更具现实性，因为随机改变交易命令的蒙特卡洛方法很容易低估衰落的可能性。‘
大趋势末端的衰落时间和程度远不是随机模拟结果可以比拟的。在这些大衰落期间，趋势跟踪系统的净值曲线呈现出序列相关性。更简单地说，坏日子往往集中出现，接踵而来，这并不是随机性事件的特征。