后验概率
事情还没有发生,要求这件事情发生的可能性的大小,是先验概率。事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率,后验概率的计算,要使用贝叶斯公式。
先验概率仅仅依赖于主观上的经验估计,也就是事先根据已有的知识的推断,在应用贝叶斯理论时,通常将先验概率乘以似然函数(likelihoodfunction)再归一化后,得到后验概率分布,后验概率分布即在已知给定的数据后,对不确定性的条件分布。
后验概率=(似然度先验概率)/标准化常量=标准似然度先验概率
最大似然估计:
现在已经拿到了很多个样本,这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大。因为样本已经实现了,其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化,是个连乘积,只要取对数,就变成了线性加总。此时通过对参数求导数,并令一阶导数为零,就可以通过解方程(组),得到最大似然估计值
最小二乘
找到一个(组)估计值,使得实际值与估计值的距离最小。本来用两者差的绝对值汇总并使之最小是最理想的,但绝对值在数学上求最小值比较麻烦,因而替代做法是,找一个(组)估计值,使得实际值与估计值之差的平方加总之后的值最小,称为最小二乘。
方差
方差衡量数据的波动程度
均值:
X
‾
=
1
n
∑
i
=
1
n
x
i
\overline X=\frac{1}{n}\sum_{i=1}^nx_i
X=n1i=1∑nxi
方差:
s
2
=
1
n
−
1
∑
i
=
1
n
(
x
i
−
X
‾
)
2
s^2=\sqrt{\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline X)^2}
s2=n−11i=1∑n(xi−X)2
标准差:
s
=
s
2
s=\sqrt{s^2}
s=s2
协方差
方差描述的是其本身数据的情况,如果我们想知道,某2种数据之间的关系,比如,年龄和身高。假设这里有样本集合f(x,y)=(xi,…,yi),x表示年龄,y表示身高,那么2者之间的关联程度可以这么定义:
c
o
v
(
X
,
Y
)
=
c
o
v
(
Y
,
X
)
=
1
n
−
1
∑
i
=
1
n
(
X
1
−
X
‾
)
(
Y
i
−
Y
‾
)
cov(X,Y)=cov(Y,X)=\frac{1}{n-1}\sum_{i=1}^n(X_1-\overline X)(Y_i-\overline Y)
cov(X,Y)=cov(Y,X)=n−11i=1∑n(X1−X)(Yi−Y)
- 若X和Y相互独立,则 c o v ( X , Y ) = 0 cov(X,Y)=0 cov(X,Y)=0
- c o v ( X , X ) = D ( X ) , D ( X ) 方 表 示 方 差 cov(X,X)=D(X),D(X)方表示方差 cov(X,X)=D(X),D(X)方表示方差
- 若 c o v ( X , Y ) > 0 , 则 表 示 X , Y 正 相 关 cov(X,Y)>0,则表示X,Y正相关 cov(X,Y)>0,则表示X,Y正相关相反则负相关。
协方差矩阵
上述协方差描述的是二维,即两个变量之间的关系,如果是三维或者多维的情况则引入协方差矩阵来描述他们的关系。
设有n维随机变量
(
X
1
,
X
2
,
.
.
.
,
X
n
)
(X_1,X_2,...,X_n)
(X1,X2,...,Xn)
则
σ
i
,
j
=
c
o
v
(
X
i
,
X
j
)
=
E
(
X
i
−
E
(
X
i
)
)
E
(
X
j
−
E
(
X
j
)
)
\sigma_{i,j}=cov(X_i,X_j)=E(X_i-E(X_i))E(X_j-E(X_j))
σi,j=cov(Xi,Xj)=E(Xi−E(Xi))E(Xj−E(Xj))
则协方差矩阵:
Σ
=
[
σ
11
σ
1
,
2
.
.
.
σ
1
,
n
σ
21
σ
22
.
.
.
σ
2
n
.
.
.
.
.
.
.
.
.
.
.
.
σ
n
1
σ
n
,
2
.
.
.
σ
n
,
n
]
\Sigma=\begin{bmatrix} \sigma_{11} & \sigma_{1,2} &...&\sigma_{1,n}\\ \sigma_{21} & \sigma_{22}&...& \sigma_{2n}\\ ...&...&...&...\\\sigma_{n1}& \sigma_{n,2} &...&\sigma_{n,n}\\ \end{bmatrix}\quad
Σ=⎣⎢⎢⎡σ11σ21...σn1σ1,2σ22...σn,2............σ1,nσ2n...σn,n⎦⎥⎥⎤
由协方差的性质可知,协方差矩阵
Σ
\Sigma
Σ是对称矩阵。