【机器学习】【EM算法-1】数学基础:正/负定矩阵+凹(凸)函数+(最大)似然函数+Hessian矩阵+Jensen不等式。

最新推荐文章于 2023-10-18 20:21:38 发布

CV_ML_DP

最新推荐文章于 2023-10-18 20:21:38 发布

阅读量4.3k

点赞数 1

分类专栏：人工智能机器学习跟我一起学机器学习 Machine Learning

本文链接：https://blog.csdn.net/u012421852/article/details/80104192

版权

人工智能同时被 3 个专栏收录

109 篇文章 17 订阅

订阅专栏

机器学习

95 篇文章 10 订阅

订阅专栏

跟我一起学机器学习 Machine Learning

95 篇文章 26 订阅

订阅专栏

EM算法

EM（Expectation Maximization Algorithm），期望最大值算法推理时，用到了这些数学知识：

（1）正/负定矩阵

（2）[严格]凹函数

（3）[严格]凸函数

（4）[最大]似然函数

（5）Hessian矩阵

（6）Jensen不等式

1.正/负定矩阵

positive definite matrix，正定矩阵;

negative definite matrix，负定矩阵

正定矩阵性质：

（1）A是一个正定矩阵，则|A|行列式 > 0，即正定矩阵的行列式恒为正

（2）正定矩阵A的逆矩阵也是正定矩阵

（3）如果A，B是正定矩阵，则A+B也是正定矩阵

（4）正实数与正定矩阵的乘积是正定矩阵

（5）实对称矩阵A正定当且仅当 A与单位矩阵合同

2.正定矩阵的充要条件

3.怎么判别对称矩阵A的正定型？？？

根据正定矩阵的定义及性质，判别对称矩阵A的正定性有两种方法：

（1）求出A的所有特征值。

正定：若A的特征值均为正数，则A是正定的；

负定：若A的特征值均为负数，则A为负定的。

（2）计算A的各阶主子式。

正定：若A的各阶主子式均大于零，则A是正定的；

负定：若A的各阶主子式中，奇数阶主子式为负，偶数阶为正，则A为负定的。

4.[严格]凹/凸函数

如果函数f(x)满足如下条件，则f(x)是凹函数：

上式子中如果去掉＝，只有＜，则f(x)就是严格凹函数。

如果函数f(x)满足如下条件，则f(x)是凸函数：

上式子中如果去掉=，只有>，则f(x)就是严格凸函数

比如下面函数，就是一个凹函数：

二阶导判断凹函数还是严格凹函数：

如果f(x的二阶导数在区间上>=0，则f(x)为凹函数

如果f(x)的二阶导数在区间上>0成立，则f(x)为严格凹函数，

如下图所示左边的图形是严格凹函数，右边的是严格凸函数：

5.[最大]似然函数

统计学中，似然函数是一种关于统计模型参数的函数。

给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ点后变量x的概率：L(θ|x) = P(X=x|θ)

可知：似然函数是一种条件概率函数

下面的一个示例是来自其他文章的一部分：

考虑投掷一枚硬币的实验。通常来说，已知投出的硬币正面朝上和反面朝上的概率各自是 $p H = 0.5$ ，便可以知道投掷若干次后出现各种结果的可能性。比如说，投两次都是正面朝上的概率是0.25。用条件概率表示，就是：

$P(\mbox{HH} \mid p_H = 0.5) = 0.5^2 = 0.25$
$L(p_H = 0.5 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = 0.5) =0.25$
$L(p_H = 0.6 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = 0.6) =0.36$

其中H表示正面朝上。

在统计学中，我们关心的是在已知一系列投掷的结果时，关于硬币投掷时正面朝上的可能性的信息。我们可以建立一个统计模型：假设硬币投出时会有 $p H$ 的概率正面朝上，而有 $1 - p H$ 的概率反面朝上。这时，条件概率可以改写成似然函数：

也就是说，对于取定的似然函数，在观测到两次投掷都是正面朝上时， $p H = 0.5$ 的似然性是0.25（这并不表示当观测到两次正面朝上时 $p H = 0.5$ 的概率是0.25）。

如果考虑 $p H = 0.6$ ，那么似然函数的值也会改变。

注意到似然函数的值变大了。这说明，如果参数 $p H$ 的取值变成0.6的话，结果观测到连续两次正面朝上的概率要比假设 $p H = 0.5$ 时更大。也就是说，参数 $p H$ 取成0.6 要比取成0.5 更有说服力，更为“合理”。总之，似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最为“合理”的参数值。