1.β分布
参考:https://www.zhihu.com/question/30269898/answer/123261564
先看图:
理解图:
α与β代表互相对立的事件,比如说投篮进或者不进,其中命中率可以看成概率,这条曲线表示命中率取值的概率(概率的概率),当投篮继续进行下去的时候,α与β会调整,相应的曲线也会变化。
可以看到x的取值的均值是
α
α
+
β
\cfrac{α}{α+β}
α+βα,命中率为
α
α
+
β
\cfrac{α}{α+β}
α+βα的可能性最高,比这个高或者这个低的可能性也有,但是可能性小一些。
看公式:
B e t a ( α , β ) = θ α − 1 ( 1 − θ ) β − 1 B ( α , β ) {Beta(\alpha,\beta)}=\cfrac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha,\beta)} Beta(α,β)=B(α,β)θα−1(1−θ)β−1
输入不同的α和β就可以更新上面的曲线了,这个公式我也不知道是怎么实现的,但是听起来是非常科学的,因为一个人的命中率不是绝对稳定的,而我们平时计算的时候直接就用 α α + β \cfrac{α}{α+β} α+βα来计算了,但是beta分布能在命中率不是稳定的情况下,进行更科学地评估。
2.狄利克雷分布
β分布是二项的,狄利克雷分布是多项式分布,如果理解成抛硬币的话,狄利克雷分布就是掷骰子。
3.共轭先验
共轭就是后验概率的函数和先验概率函数表达形式一样,在贝叶斯分析中,就是
P
(
u
∣
D
)
{P(u|D)}
P(u∣D)的函数和
P
(
D
∣
u
)
{P(D|u)}
P(D∣u)的形式是一样的。
而一般的随机事件可以简单分成两种结果的和两种以上结果的,结果的分布情况对应着二项分布和多项分布,但是这两种情况得到的函数不一定是共轭的,而β分布和迪利克雷分布就是这两种分布的共轭分布。
我看了很多资料都不知道公式是怎么来的,只能理解个意思,大概就是说我们可以利用共轭分布来化简贝叶斯的分析。
独立同分布
指随机过程中,任何时刻的取值都为随机变量,如果这些随机变量服从同一分布,并且互相独立,那么这些随机变量是独立同分布。
比如说同时掷两个骰子A,B,它们的结果是互不影响的,独立的,而且它们是一样的随机事件嘛,所以具有相同的分布形状和相同的分布参数,即A骰子掷出的结果中每个点的取值都是1/6,B也是这样的,
同一分布的理解是:对于离散随机变量来说是具有相同的分布律,对与连续随机变量来说是具有相同的概率密度函数,分布函数,相同的期望、方差。
似然函数
定义是: 给定一组样本X下,关于未知参数
θ
\theta
θ的函数
L
(
θ
∣
x
)
=
f
(
x
∣
θ
)
{L(\theta}|x)=f(x|\theta)
L(θ∣x)=f(x∣θ)
x
x
x是随机变量取到的值,即X=
x
x
x
与概率对比:
对比项 | 概率 | 似然 |
---|---|---|
英文翻译 | probablility | likehood |
表示意思 | 给定一组参数值,得到某个结果的可能性 | 给定某一结果,求某一参数值的可能性 |
举例 | 一枚均质硬币,抛10次有五次正面朝上的可能性 | 一枚硬币抛10次有五次正面朝上,均质的可能性是多少 |
类比理解:
我们可以用
a
b
a^b
ab来类比,令a=2时可以得到函数
2
b
2^b
2b,是关于b的指数函数,令b=2可以得到
a
2
a^2
a2,是关于a的二次函数,这个函数有两个参数a,b对应与我们的
x
x
x和
θ
\theta
θ
极大似然估计:
对于随机变量而言,其概率密度函数
f
(
x
∣
θ
)
f(x|\theta)
f(x∣θ)就是
P
θ
(
X
=
x
)
P_\theta(X=x)
Pθ(X=x),即代表了在参数
θ
\theta
θ下随机向量
X
X
X取到值
x
x
x的可能性,如果我们发现
L
(
θ
1
∣
x
)
=
P
θ
1
(
X
=
x
)
>
P
θ
2
(
X
=
x
)
=
L
(
θ
2
∣
x
)
L(\theta_1|x)=P_{\theta_1}(X=x)>P_{\theta_2}(X=x)=L(\theta_2|x)
L(θ1∣x)=Pθ1(X=x)>Pθ2(X=x)=L(θ2∣x),我们可以认为
θ
1
\theta1
θ1比
θ
1
\theta1
θ1更接近真实值,极大似然估计就是取最大的
θ
\theta
θ,将它看作是最接近真实的
θ
\theta
θ
参考资料:
http://blog.sina.com.cn/s/blog_e8ef033d0101oa4k.html
https://www.zhihu.com/question/54082000