概率统计：概率与统计的关系

参考网上一些资料，做整理，记录并学习：
https://www.zhihu.com/question/20269390
https://www.zhihu.com/question/20269390/answer/25279501
一直以为概率统计就是概率论，因此做个学习记录。

---

1. Lary Wasserman

Lary Wasserman 在 All of Statistics 的序言里有说过概率论和统计推断的区别：

The basic problem that we study in probability is:
Given a data generating process, what are the properities of the outcomes?
…
The basic problem of statistical inference is the inverse of probability:
Given the outcomes, what can we say about the process that generated the data?

意思是：

• 统计：根据观测的数据，反向思考其数据生成过程。
  根据手中信息，猜猜桶里有啥？(样本归纳总结出总体)
  关键要点：桶对于我是黑盒，我看不到桶里的情况。手里的球是唯一所知信息。
• 概率：在给定数据生成过程下观测、研究数据的性质。
  根据桶中信息，猜猜手里有啥？(总体对样本进行预测)
  关键要点：桶对于我是透明的，桶里的情况一清二楚。
  

2.理解

概率论与数理统计就像是一个事物的正反面。

1. 概率论（ 已知全局情况，估算抽样结果；给定条件，预测未来）
   知因求果，已经完全获知了事物的本质即分布规律后，运用于具体的事例；
   告诉分布的参数后求具体数据的概率；
2. 数理统计（已知抽样结果，估算全局情况；回顾过去，进行归纳总结）
   是执果索因，我们手上只有一些事例的表观信息，要寻求它们背后共同遵从的规律。
   只知道数据分别概率而求分布所要满足的参数，这一过程也被称为似然估计。

3.实际应用

1. 概率论
   由概率分布推断样本性质，如大数定律、中心极限定理。
   已知总体分布求样本分布 。
   已知整体 估 局部。
2. 数理统计
   由样本信息反推概率分布，如概率分布参数的点估计、区间估计，以及线性回归。
   在总体中抽取样本得到样本分布来推测总体分布。
   已知局部 猜 整体。