计算统计笔记整理（持更)

bootstrap方法

基本思想：模拟

目的：

计算（任意估计的）标准误差、偏差和置信区间。

分类：

1. 参数化bootstrap

• 分布形式已知，或可由样本估计出分布，再从参数化分布中采样，进行参数估计即可。
• R语言里直接rnorm即可（假设正态）。

2. 非参数化bootstrap

• 直接从样本中再抽样，而不是从分布中。
• R语言中用sample从整体中直接抽取样本。
• 步骤：
  假设估计量为$\theta$，样本大小为N，从中有放回的抽取N个，得到一个新的bootstrap样本。（不是无放回所以新样本与原样本不同，很可能有重复抽取）重复B次得到B个新样本，每个样本都有对应的估计量$\hat{\theta }$，利用B个估计量计算标准误差、偏差和置信区间。

——————————————————————————————————

permutation test（置换检验)

参考：置换检验，你可能不知道但一直在用!

对象：

总体分布不明的小样本以及所有无法利用常规假设检验完成的对象。

特点：

构造的样本数量有限制，基于H0原假设（总体分布相同）。
研究表明，当样本含量较大时, Permutation test得到的结果与经典的参数检验(t 检验、F 检验)近似。当样本含量较小时，Permutation test要优于参数检验，并且其检验效能也高于秩和检验。

基本思想：

在H0假设成立的前提下，根据研究目的构造一个检验统计量，并利用样本数据，按排列组合的原理，导出检验统计量的理论分布，在实际中往往因为排列组合数太多，而模拟其近似分布，然后求出在该分布中出现观察样本及更极端样本的概率p，通过和0.05比较，做出统计推断

——————————————————————————————————

卡尔曼滤波

1. 思想

以K-1时刻的最优估计$X_{k-1}$为准，预测K时刻的状态变量${\hat{X}}_{k|k-1}$，同时得到观测变量$Z_k$，以观测量对预测量进行修正，得到K时刻的最优估计状态$X_k$。

2. Kalman filtering和HMM的关系

卡尔曼滤波也是基于马尔科夫性的。HMM是隐变量为离散的模型，它有前向和后向算法，也就是常说的alpha算法和belta算法。可是很多时候遇到的实际问题隐变量是连续的，这时把HMM稍做升级，就成了LDS（线性动态系统）。LDS是基于HMM的，算法结构完全一样，唯一不同的LDS的隐变量是连续的。所以LDS也有前向算法和后向算法两部分，它的前向算法就叫卡尔曼滤波，而它的后向算法就叫卡尔曼平滑。建议看看PRML这本书的第13章就一切都清楚了。

总结：HMM（alpha算法和belta算法）----（离散变连续）----->LDS（卡尔曼滤波和卡尔曼平滑）。