Basic Concept and Theorem of Statistical Learning(二)

四. 极限定理

1. 大数定理
1) 切比雪夫大数定律
公式略.
直观意义上就是当Xn是独立同分布的随机变量序列，则当n趋向于无穷大的时候.Xk的平均值概率趋近于E(Xn).
这也就为我们平常利用大量的实验频率来逼近概率提供了理论依据.
2) 辛钦大数定律
在切比雪夫大数定律的基础上，去掉了方差的限制.

2. 中心极限定理
引入: 在大数定理中我们只能知道当n充分大的时候，均值趋向于期望。但是这个P(|Xm-E(x)|
同样在很多问题中直接去求这个概率往往很难，因此我们常常利用正态分布的特性(当一个随机变量有多个独立随机变量之和，每一个随机变量对总和的作用很微小，此时我们可以认为这个随机变量近似的服从正态分布.)

中心极限定理: 在某种条件下，使得一个随机变量的极限分布式正态分布的结果，统称为中心极限定理。
常见的有: 林德伯格-列维中心极限定理
http://baike.baidu.com/view/45355.htm

五. 数理统计基本概念

1. 基本概念
1) 总体、个体
2) 简单随机样本 (总体中抽样得到的独立同分布的随机变量)
3) 统计量.
统计量实际上就是对样本研究的一个函数,这个函数不含任何未知参数. 通过统计量来对样本的各种联系等等信息进行挖掘！
常见的统计量有: Mean, Expectation, Variance, Standard Variance, Kth Origin Moment, Kth Central Moment.

2. 常见的抽样分布
抽样分布就是统计量的分布，通常一般的统计量的分布较为难求。因此下面讨论的都是正态分布的抽样分布.
1) X2分布、t分布、F分布
2) 正态总体的抽样分布

六. 参数估计
在数理统计中往往研究的总体或者样本的分布已知，但是其中的参数未知。此时通常需要通过一些列的方法(主要就是利用样本观察值)来进行参数估计.
1. 点估计
通过构造统计量并将其相应的观察值作为的观察值.
1) 矩法估计
利用均值趋向于期望.通过利用X的K个Origin Moment来求得K个参数.
2) 极大似然法
利用"极大似然原理", 即如果一个事件有多个可能，那么我们通常认为概率最大的结果最有可能发生.
极大似然法就是利用极大似然原理，求观察样本同时发生的概率，是一个带有参数的函数.然后求是得这个函数取得最大值的参数值。
这个估计值就称为极大似然估计值。

2. 估计量评判标准
通过估计量的波动方向，波动的大小以及波动的趋势来衡量一个参数估计的好坏.
1) 无偏性.
当估计的参数的期望等于原来参数则称为无偏估计. (注意因为估计的参数取决样本的值，因此这里我们考虑的是他的期望而不是他的某一次的取值.)
2) 有效性
参数的方差越小，也就是波动越小。则越有效.
其中有一个C-R不等式，C-R不等式的具体参考书.重点是里面提到了一个I(X)，这个函数称为费尔希信息量，可以用来衡量总体模型所含的信息。
3) 一致性
即当n趋向于无穷大的时候，估计的参数值依概率趋近于实际参数.

3. 区间估计
是对估计的参数的一个准确衡量的方法.
置信区间、置信度、置信上下限.

七. 假设检验
当总体的分布不清楚的时候，参数估计就失灵了。此时利用反证法和已知的一些分布。引入了假设检验的方法，这种方法是基于概率角度上的反证法.
1. 假设检验的基本要素
1) 假设. 可以对某一个参数进行假设，也可以对整个分布函数进行假设. 即参数假设检验和非参数假设检验.
2) 拒绝标准. 重点是确定概率阈值.
3) 拒绝域.

2. 假设检验分类
根据假设检验对取真还是取伪的偏向分为显著性检验跟另外一种检验. 常用的是显著性检验.
显著性检验就是指对取真进行保护，也就是不轻易拒绝原假设.

八. 后话

这里仅仅用两篇短短的日志讲概率论与数理统计的一些基本知识、方法和思想做了一个简单的介绍，因为 windows live writer 编辑公式有点麻烦。其中的很多细节和公式都没有列出来。主要还是侧重于
思想和方法的掌握. 这些知识是统计机器学习中的基础，当然一些很细节的东西，如果你知道这个方法的话。回过来再好好的看看很容易上手的.