贝叶斯推断 2. 统计推断

频率推断

1. 中心极限定理Central Limit Theorem(CLT)
   独立同分布的随机变量X，若期望和方差都存在，$E(X_i)=\mu$,$D(X_i)=\sigma^2$则N个（N很大）独立同分布的随机变量的和近似服从正态分布，即$\sum_{i=1}^n{X_i} \sim N(n\mu,n\sigma^2)$或$\frac{\sum_{i=1}^n{X_i}}{n} \sim N(\mu,\frac{\sigma^2}{\sqrt{n}})$
2. 置信区间Confidence Intervals(CI)
   参数点估计的近似正态分布的置信区间计算：
   $point estimate \pm z^* \times SE$,$SE$是标准误差，standard error.
   $z^*$是标准正态分布中能够占据中间$X\%$数据截断点，$X\%$是我们想要的置信水平。
   对于均值来说，$\bar{x} \pm z^*\frac{s}{\sqrt{n}}$。
3. 似然函数和最大似然估计
   给定观测变量x，关于待估计参数$\theta$似然函数$L(\theta|y)=P(X=x|\theta)$，在数值上等于给定参数θ后变量X=x的概率。
   最大似然估计是求得是的似然函数最大的参数$\theta$，即使得的数据和我们已经观测到的数据最相似的$\theta$。
   MLE $\theta = argmaxL(\theta|y)$

贝叶斯推断