[PRML] Point Estimation 点估计

问题引入——一份咨询工作

  你的第一份工作是一份咨询工作，一天，一位来自北京的亿万富翁向你咨询一个问题。

• 富翁： 我丢一枚图钉，有多大的可能它的尖端向上。
• 你：可以丢几次图钉。
• 丢图钉结果：
• 你：有3/5的概率尖端向上。
• 富翁：为什么是3/5？
• 你：因为……

二项分布

  设Heads为尖端向上，它的概率为$\theta$，Tails为尾巴向上，D为几次丢图钉的观测结果，H表示一次丢图钉观测到Heads，T表示观测到Tails。
  $P(Heads) = \theta$，$P(Tails) = 1-\theta$，$D=\{H,T,T,H,H\}$
  每一次丢图钉满足独立同分布。

• 每一次丢图钉是独立事件
• 都满足二项分布

  因此观测到D的概率为$P(D|\theta)=\theta(1-\theta)(1-\theta)\theta\theta$
  更一般地，设D中有$\alpha_H$个Heads和$\alpha_T$个Tails，则 P(D|θ)=θαH