统计学中“最简单”的Bootstrap方法介绍及其应用

最新推荐文章于 2023-12-06 10:07:05 发布

weixin-W1623210897

最新推荐文章于 2023-12-06 10:07:05 发布

阅读量1.4k

点赞数

分类专栏：数学类文章标签： bootstrap方法

原文链接：https://blog.csdn.net/SunJW_2017/article/details/79160369#commentBox

版权

数学类专栏收录该内容

14 篇文章 0 订阅

订阅专栏

本文链接： https://blog.csdn.net/SunJW_2017/article/details/79160369

            </div>
                                                <!--一个博主专栏付费入口-->
         
         <!--一个博主专栏付费入口结束-->
        <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-4a3473df85.css">
                                    <div id="content_views" class="markdown_views prism-dracula">
                <!-- flowchart 箭头图标 勿删 -->
                <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
                    <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
                </svg>
                                        <p>最近的论文写作中，需要用到Bootstrap方法，即所谓的“自举法”、“靴带法”。Bootstrap在英语中作为一个名词的话，其的意思是“拔靴带”，也就是通过<strong><em>自身的</em></strong> 力量，自己把自己抬起来。注意这个限定——“通过自身的力量”——这是Bootstrap方法的核心所在。本篇博文旨在根据自身的实际工作，对Bootstrap方法进行带有实例的说明，有些冗长，但主要是为了总结一下最近的工作，如果可以对别人的工作起到抛砖之作用，实不胜荣幸。</p>

股票的例子

我所研究的领域是计量经济学中时间序列的变点研究，涉及的一些复杂的概念不过多说明，只用最简单的语言进行几乎所有人都可以理解的描述。

假设我有一组股票数据，y1,y2,...,yn，它以已知的数据对为基础进行构造（或者深度学习中的训练），完成后的模型以时间节点为输入，当期价格为输出——即所谓的股票预测模型。
我想拥有这样一个模型是所有股民期待的事情，这里我暂且不去考虑其可实现性，单单就此问题进行讨论。

一、可能的问题1

我们知道，要想训练一个准确的模型M时进行了分红，那么股价很可能发生如下的变化：

用我们方向的术语来说，就是股价序列中存在均值变点，即均值发生了变化，生成上图中的数据时，前一半均值为5，后一半均值为2。当然，图中情况是非常理想化的，但足以说明问题。

这种情况下，如果仍然不进行任何处理仍然用这些数据进行建模的话，很可能会得到下面一个模型：

M = 3.5

这意味着，股价将（至少在一段时间内）维持在3.5左右。而实际上分红已经导致了价格降低（维持在2左右），若仍用这个模型去描述股价，很明显是不明智的，更别说去采取什么买入卖出决策了。

二、可能的问题2

在上个问题中，我实际上说的是最简单的一类变点了，我们都知道实际的股票价格多么的变化无常。事实上，不仅仅是股票价格，还有其他几乎所有可能涉及到时间序列分析的领域，都会产生的大量的数据，而且这些数据往往不符合数理统计课本上的所有美好的假定——独立、正态、同分布……也就是说，序列完全有可能存在不止一个均值变点，也可能存在不止一类变点。
接下来，介绍另一种比较常见的变点——方差变点。还是先上图：
这里写图片描述
在这幅图中，仍然是在x50时序列发生了方差的变化，前一段序列的离散程度比后一段的离散程度要小——即序列中存在方差变点。
那么，第二个存在的问题就是，序列存在不止一类变点，例如，有可能既存在均值变点，又存在方差变点。

而实际情况是，序列的变点种类远不止均值与方差两种，还有所谓的“持久性变点”、“指数变点”以及“斜率变点”等许多种；另外，上面两幅图中展示的都是“突变”类型的变点，即序列的变化在一点完成，与之对应的还有渐变与周期性变化。

三、解决的方法

上面提到的问题，当然会对模型的准确性产生影响，一种可能的解决方案就是：引入一种统计量，并构造假设检验，根据统计量的值是否落入拒绝域而判断是否拒绝原假设。

统计量：不含未知参数的、样本的已知函数。例如均值，方差都属于统计量
假设检验：含原假设与备择假设。例如：原假设为不含均值变点，则备择假设为含有均值变点
拒绝域：设针对某假设检验问题所构造的统计量在原假设下有分布F可以计算出一个数值区间，使得满足原假设条件的序列经过统计量运算后很大概率落在该区间内。若对新的序列计算的统计量的值落在该区间之外（成为拒绝域），则有把握说原假设不对，即拒绝原假设。

通过上述方法，我们可以初步判断一个序列中是否存在指定类型的变点。在文献中，针对不同类型的变点以及满足不同条件的序列和不同的假设检验，有许多可靠的统计量用来检验是否存在变点；进一步地，如果存在，可以估计出该变点的位置。
如果知道了变点类型和变点位置，那么就可以尝试解决上述问题1，例如，我们可以在变点前建立模型M1，一般来讲，这种分类模型具有更高的准确性。

四、问题二呢？

在三中，我们解决了问题一，即已经可以构造统计量来检验是否存在（单一类型的）变点及估计变点的位置。但是此类方法对问题二——存在多种类型的变点——有效吗？
一般情况下，如果统计量对于变点检验问题有很强的针对性。
通俗的讲，不同类型的变点只能用与之相对的统计量去检验。比如，变点有两类分别是c1类变点。

在变点检验领域，通常用size和power来衡量一个统计量的work效果
size：原假设为真时，拒绝原假设的概率，即犯第一类错误的概率。
power：原假设为假时，拒绝原假设的概率。

五、Bootstrap方法

根据四中的描述，当序列存在混合变点时，原本期待起作用的统计量很可能失真。这时，就需要我们的Boostrap方法上阵了。基于Bootstrap的方法种类有很多，这里不打算做太多理论总结。可以参考这里，如果想深入了解，最好去找相关文献。
简而言之，人们希望获取整体的全部信息，因为这样就可以做到“运筹帷幄”——整体都知道了，还有什么样本是我们不能掌握的吗？而实际上获取整体的信息是很难的，甚至是不可能的，所以才有了统计学中的“抽样”。也就是说，我们只能获取整体中的某些样本的信息，人们期望可以通过这些有限的样本信息来尽可能准确地估计总体，从而为决策提供依据。而Bootstrap方法认为，既然得到的样本是从总体中“抽取”的，那么为什么不可以把这些样本当做一个整体，从中进行有放回地再抽取呢？
这种方法看似简单，而实际上却是十分有效的。
来看如何解决四中的问题：