数据统计分析小记

一个骗子

从某天开始，你邮箱里固定收到一封邮件，预测第二天某只股票的涨跌。 起初你不在意，觉得大概率是诈骗邮件。 但你留意了下邮件中预测的结果，发现每一封邮件预测都很准。 昨天你收到第11封邮件，里边概述了前面的邮件， 并提示需要点击邮件下方的付费链接，付费成功后才可以查看今日的预测结果。

假设每封邮件的预测相互独立，定义预测准确率随机变量 P ， 10 封邮件可以建模为参数 Binom(N=10, P) 的二项分布。 根据观测到的 10 次成功的预测，则后验参数 P ~ Beta(10, 1) 分布。经过简单的计算，

from scipy.stats import beta
import numpy as np
import matplotlib.pyplot as plt
# variable
sample_counts = 10000
ix = np.linspace(0, 1, sample_counts)
pa = beta.pdf(x=ix, a=10, b=1)
# plot
plt.title("Beta(10, 1)")
plt.plot(ix, pa)
plt.fill_between(ix[ix>0.5], 0,
                 beta.pdf(x=ix[ix>0.5], a=10, b=1),
                 color='r', alpha=0.3)
plt.text(0.85, 1, f'{
     beta.sf(0.5, a=10, b=1):.3f}')
plt.xlabel("Value")
plt.ylabel("Probability")
plt.show()

几乎可以肯定预测成功率是大于 50%(纯粹猜测) 。

但从另一方面来看，要伪造出这个结果也比较简单。 假设有1024个用户，采用简单的 p=0.5 猜测， 每次将用户等分为两部分，则第10天会有唯一一位幸运用户收到最后的通牒邮件。 如果该诈骗机构招募有数据分析的程序员，只需要借助简单的预测模型， 就可以将第10天的幸运用户数的期望提升到大于1。

度量偏见

现在让我们假设发邮件的是你。你真实有能力预测部分大A股票的涨跌。 你想要用数据说服朋友小A相信这一点。

现在你开始进行真实的预测，
第11次，你的朋友小A选择相信你，并投资一笔资金，结果血亏。
第12次，你的预测结果是对的，但小A已经开始置疑你们的朋友关系。你解释说预测成功率至少是90%。

简单计算下，此时朋友小A对你的置疑有多深，

$H_0$: 小A认为你的成功率好不过50%
$H_1$: 你认为自己的预测成功率在90%

假设用 $O_H=\frac{H_0}{H_1}$ 表示小A对自己先验信念的相对坚定程度， 用 $O_L$ 表示 $H_0$ 相对 $H_1$ 对观测数据解释的胜率，

$$\begin{array}{c}\begin{array}{rl}P(H_0\mid D)& =\frac{P(H_0)P(D\mid H_0)}{P(D)}\\ P(H_1\mid D)& =\frac{P(H_1)P(D\mid H_1)}{P(D)}\\ O_L& =\frac{P(H_0\mid D)}{P(H_1\mid D)}\\ & =\frac{P(H_0)}{P(H_1)}\frac{P(D\mid H_0)}{P(D\mid H_1)}\\ & =O_H\\ & \end{array}\end{array}$$