机器学习基石-04-2-Probability to the Rescue

前面说到了“learning is impossible”，那么我们要怎样才能对something unknown进行推断呢？

下面举一个例子，一个瓶子中有橘色和绿色的球，数目很大不能直接拿出来数，问应该怎样做才能估计瓶子中橘色求的概率？

其中μ是指“真实的”概率，μ是未知的；v是指样本中橘色球的概率，v是已知的。

1.v并不能完全地代替μ，特别是在“瓶子中orange球很多”但是“抽取的样本中orange球很少”的情况下。

2.但是大多数情况下，in-sample v likely close to unknown μ。

Hoeffding不等式