极大似然估计
如果我们想用一个函数来拟合样本,我们可以构造一个关于样本X的函数 L ( X , θ ) L(X, \theta) L(X,θ),其中X是观察值, θ \theta θ是这个函数的参数,但是 θ \theta θ是未知的,所以我们就需要通过观察到的X估计 θ \theta θ,那么那个能把函数和观察值拟得最好的 θ \theta θ,就叫做这个函数 L ( X , θ ) L(X, \theta) L(X,θ)的“极大似然估计”。
置信区间
如果置信区间的概率为95%,那么对于置信区间两侧的边界值 x 和 y,它们的 p-value 为(1-a)/2,p-value 小于 5%,我们称之为显著,小于 1%称为极显著。
贝叶斯公式
Pr(X=x, Y=y)为“XY的联合概率”;
Pr(X=x)为“X的边际概率”;
Pr(X=x | Y=y)为“X基于Y的条件概率”;
Pr(Y=y)为“Y的边际概率”
Pr(X=x, Y=y) = Pr(X=x | Y=y) * Pr(Y=y)
即:“XY的联合概率”=“X基于Y的条件概率”乘以“Y的边际概率”
这个就是联合概率、边际概率、条件概率之间的转换计算公式。
表述的是离散分布,对于连续分布,也差不多。
只需要将“累加”换成“积分”。
联合概率
两个相互独立的随机变量X和Y,同时发生的概率,就是事件a的概率乘以事件b的概率;
边缘概率
就是某个随机变量取各个值时的概率。P(X=a)或P(Y=b),这类仅与单个随机变量有关的概率称为边缘概率。
条件概率
一个事件发生的情况下,另一个事件发生的概率。计算方法就是,两个事件A和B同时发生的概率(也就是A和B的联合概率),除以B发生的概率(即B的边缘概率)。
P ( A ∣ B ) = P ( A B ) / P ( B ) P(A|B)=P(AB)/P(B) P(A∣B)=P(AB)/P(B)
贝叶斯公式
人们已经能够计算“正向概率”,如“假设袋子里面有N个白球,M个黑球,你伸手进去摸一把,摸 出黑球的概率是多大”。
而一个自然而然的问题是反过来:“如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题,就是所谓的逆概问题。
首先,A和B的联合概率,可以通过两种方法求得,即发生A的时候发生B 和 发生B的时候发生A是一样的:
P ( A , B ) = P ( A ∣ B ) P ( B ) = P ( B ∣ A ) P ( A ) P(A,B)=P(A∣B)P(B)=P(B∣A)P(A) P(A,B)=P(A∣B)P(B)=P(B∣A)P(A)
然后,就能得到贝叶斯公式:
P ( B ∣ A ) = P ( A , B ) P ( A ) = P ( A ∣ B ) P ( B ) P ( A ) P(B|A)=\frac{P(A,B)}{P(A)}=\frac{P(A∣B)P(B)}{P(A)} P(B∣A)=P(A)P(A,B)=P(A)P(A∣B)P(B)
连续型随机变量&积分
离散型随机变量
所有可能发生的数有 n 种,是一个离散的形式。
它的期望就是 :
μ = E ( x ) = ∑ k = 1 n x k ⋅ p ( x k ) \mu=E(x)=\sum_{k=1}^nx_k\cdot p(x_k) μ=E(x)=∑k=1nxk⋅p(xk),其中 p ( x k ) p(x_k) p(xk) 是 x k x_k xk发生的概率。
方差,也就是 ( x − μ ) 2 (x-\mu)^2 (x−μ)