【概率论】主观概率 私人回顾

接上一篇blog的客观概率，主观概率就是把概率理解为对未知事件的估计和判断。

七、抽样估计

该部分内容给出了一个规范化的抽样方法，每一次抽样X1，X2，X3…都可以看做是相互独立的同分布。

经验分布函数S(x)：是估计理论的基础，指出了如果样本采集量足够大，经验分布就趋近于真实分布，也就可以模拟等效于真实的分布。这样我们就可以用概率来估计、假设、检验。

卡方分布：是一个平方量叠加的分布，主要功能不是用来描述和拟合自然界当中的真实分布，而是用来预测和估计，这和泊松分布、正太分布很不同。为何非要用这个平方项来描述呢？因为它描述了样本得到的经验概率密度函数和真实情况之间的关系，且其描述子简单，期望和方程都很好计算。

t分布：只针对于独立的两个变量，X服从正太分布，Y服从卡方分布，t分布在概率密度上逼近正态分布，也就是说，如果样本取的非常多，趋近无限大，t分布就是正态分布，而分子是X本身就是正态分布，也就是说，如果n无限多个样本取出来的话，分母就趋近于1，Y就服从于一个常数n的平方，这符合大数定理。

F分布：X和Y都服从卡方分布，且是相除关系。同样地，F分布的衡量量也具有一些特殊的性质，也是描述经验样本和真实分布之间的某种关系。

定理一：从正态分布总体中抽出来的样本，样本的均值也符合正太分布。这是一个条件极为苛刻的定理，我们惯常想到不论什么样的分布，样本的均值也一定服从该分布，错了，只有正太分布是这样子的。
定理二：从正太分布总体中抽出来的样本，其方差服从卡方分布，且与均值相互独立。
定理三：根据t分布的定义，从定理一二很好得出来。

八、参数估计

1、点估计：最简单的一种估计，我们知道了真实分布究竟是哪种分布，且给出了一些样本，然后来估计这个分布中的一个参数。由于我们知道了真实分布是什么样子了，也就知道了它的度量量都是什么形式，然后根据样本的度量量来衡量就好了。

分为矩估计和最大似然估计。矩估计就是根据矩度量来计算参数。由于各个样本都可以看成独立同分布，所以最大似然估计的思想就是假设所取到的样本就是最大的概率，其它样本中没有的值就是小的。

在矩估计中有一个问题，估计矩度量量无数多个，选取哪一个比较好？把这个估计量拿出来，考察其期望，如果和真实的量值一样，则说明该估计量是无偏估计量，也就是说，多次估计结果下来，偏差为0。有效性：估计量的方差够小，每次估计出来的值差异不会太大，如果太大则说明估计的不准确。相合性：这个是个很高的要求，也就是说，不论参数如何变动，估计量都可以根据同样的算法基于样本算出来，且无偏有效；也就是说，这个算法已经完全拟合了这个随机变量的参数。

2、区间估计：置信区间的本质是对于估计出的参数区间，真实参数值有多大概率处于这个区间上。如果说置信度0.95我们就满足了，意思就是说我们必须找到一个区间，有0.95的几率真实值是在这个区间上的，至于真实值真的就在这个区间上吗？不知道。

九、假设检验

假设检验就是对于总体的了解仅仅是某些特性，或者了解了分布种类，但是很多参数都不知道，在这种情况下，根据样本取了解总体的其他特性。由于已知信息少了，所以就比参数估计更难处理。参数估计针对的是对于总体的认识已经非常多了，就差几个参数；而假设检验中，假设的含义就是我们需要事先提出模型，然后去验证。

针对正态分布而言，有多种情况多种方法，具体我就不想写了，主要就是确定一个统计量，根据这个统计量来操作，而且还有一个接受度，在多大的范围内，就承认假设成立，多大范围内假设需要抛弃，这个概念叫做显著性水平。

如果我们事先连分布是哪种都不知道，就需要事先对分布进行假设，一般假设是卡方分布，这个神奇的分布再次展现惊人的一面，有定理为证：如果所假设的分布是真的，那么当样本采集量足够大的时候，根据这个分布得到的一个统计量就服从卡方分布。也就是说，随便任何的一个分布，都能根据规律无限接近于卡方分布。此方法为卡方分布拟合检验法。

当所做决策错误时，有两种情况，一种是将真实情况当成错误情况，就是假阴，另一种是将错误情况当成真实情况，也就是假阳，需要根据代价大小来区别对待。

十、回归分析

回归的定义：研究相关关系的两个变量，从一个值去研究另一个值。

一元线性回归：根据一些抽样的散点值，去估计二维平面中直线的取值。方法自然是最小二乘法。然后就可以确定直线的斜率和偏移，得到根据散点抽样经验得出的回归方程，该直线就是回归直线。
最小二乘保证的是期望距离观测值方差最小，而这个方差可能真的很大，所以方差也是需要估计的。
当然，很多函数都可以化为线性回归来处理，这叫做广义的一元线性回归。
多元线性回归分析同理

十一、Bootstrap方法

这似乎就是专门为机器学习模型样本抽样准备的。Bootstrap又称自助方法，就是针对较小的样本集的一种抽样方法。其抽样的结果以 e 为分界点。