协方差矩阵—Hessian矩阵—正定矩阵

最新推荐文章于 2024-04-20 11:57:30 发布

SongpingWang

最新推荐文章于 2024-04-20 11:57:30 发布

阅读量1.4w

点赞数 7

分类专栏：机器学习—算法及代码文章标签：协方差矩阵黑塞矩阵

本文链接：https://blog.csdn.net/wsp_1138886114/article/details/81005881

版权

机器学习—算法及代码专栏收录该内容

88 篇文章 51 订阅

订阅专栏

文章目录

- - 一、基本概念

一、基本概念

1.1 协方差矩阵及推导

在统计学中用标准差描述样本数据的 “散布度” 公式中之所以除以 n-1 而不是 n,
是因为这样使我们以较少的样本集更好的逼近总体标准差。即统计学上所谓的 “无偏估计”。
关于 协方差 与散度：https://blog.csdn.net/wsp_1138886114/article/details/80967843

方差： $\frac{\sum_{i=1}^n(X_i-\bar{X})(X_i-\bar{X})}{n-1}$

各个维度偏离其均值的程度，协方差： $\text{cov}(X,Y) = \frac{\sum_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{n-1}$

协方差矩阵的计算：
这里写图片描述
$\begin{pmatrix} 1 & 2 &3 &4 \\ 3&4 &1 & 2\\ 2& 3& 1& 4 \end{pmatrix}j$

1.2 Hessian矩阵

Hessian矩阵定义：
若一元函数 $f (x)$ 在 $x = x^{(0)}$ 点的某个领域内具有任意阶导数，则 $f (x)$ 在 $x^{(0)}$ 点的泰勒展开式为：
$f(x^{(0)}) + f'(x^{(0)})\Delta x + \frac{1}{2} f''(x^{(0)})(\Delta x^2)+\cdots \tag{1}$

其中： $\Delta x = x-x^{(0)},\Delta x^2 = (x-x^{(0)})^2$

二元函数 $f(x_1,x_2)$ 在 $X^{(0)}(x^{(0)}_1,x^{(0)}_2)$ 点处的泰勒展开式为：
$\frac{1}{2}\left [ \frac{\partial^2f}{\partial^2x_1^2}|_{x^{(0)}} \Delta x_1^2 + 2\frac{\partial^2f}{\partial x_1\partial x_2}|_{x^{(0)}}\Delta x_1\Delta x_2+\frac{\partial^2f}{\partial^2x_2^2}|_{x^{(0)}} \Delta x_2^2\right ]+\cdots \tag{2}$

其中： $\Delta x_1 = x_1-x^{(0)}_1,\Delta x_2 = x_2-x_2^{(0)}$

将上述(2)展开式写成矩阵形式，则有：
$f(X^{(0)})+\left ( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2} \right )_{x^{(0)}}\begin{pmatrix} \Delta x_1\\ \Delta x_2 \end{pmatrix}+\frac{1}{2}(\Delta x_1,\Delta x_2)\begin{Bmatrix} \frac{\partial^2f}{\partial x_1^2} & \frac{\partial^2f}{\partial x_1 \partial x_2}\\ \frac{\partial^2f}{\partial x_2 \partial x_1}& \frac{\partial^2f}{\partial x_2^2} \end{Bmatrix}|_{x^{(0)}} \begin{pmatrix} \Delta x_1\\ \Delta x_2 \end{pmatrix} +\cdots \tag{3}$

即为：
$f(X^{(0)})+\nabla f(X^{(0)})^T + \frac{1}{2} \Delta x^T G(X^{(0)}) \Delta X +\cdots \tag{4}$

其中：
$G(X^{(0)}) = \begin{Bmatrix} \frac{\partial^2f}{\partial x_1^2} & \frac{\partial^2f}{\partial x_1 \partial x_2}\\ \frac{\partial^2f}{\partial x_2 \partial x_1}& \frac{\partial^2f}{\partial x_2^2} \end{Bmatrix}|_{x^{(0)}}, ~~\Delta X = \begin{pmatrix} \Delta x_1\\ \Delta x_2 \end{pmatrix}$

$G(X^{(0)})$ 是 $f(x_1,x_2)$ 在 $X^{(0)}$ 点处的Hessian矩阵。它是由函数 $f(x_1,x_2)$ 在 $X^{(0)}$ 点处的二阶偏导数所组成的方阵。我们一般将其表示为:

$\begin{bmatrix} \frac{\partial^2f}{\partial x_1^2} & \frac{\partial^2f}{\partial x_1 \partial x_2} & \cdots & \frac{\partial^2f}{\partial x_1 \partial x_n} \\ \frac{\partial^2f}{\partial x_2 \partial x_1} & \frac{\partial^2f}{\partial x_2^2} & \cdots & \frac{\partial^2f}{\partial x_2 \partial x_n}\\ \vdots & \vdots & \ddots &\vdots \\ \frac{\partial^2f}{\partial x_n \partial x_1} & \frac{\partial^2f}{\partial x_n \partial x_2} & \cdots & \frac{\partial^2f}{\partial x_n^2} \end{bmatrix}$

简写成： $\mathbf{Q_{Hessian}} = \begin{bmatrix} I_{xx} & I_{xy}\\ I_{yx} & I_{yy} \end{bmatrix}$
这里写图片描述

1.3 Hessian矩阵示例

这里写图片描述

1.3 正定矩阵定义及性质

在线性代数中，正定矩阵（positive definite matrix）简称正定阵。
定义：A是n阶方阵，如果对于任何非零向量x都有 $x^TAx>0$ 就称A正定矩阵。
这里写图片描述

1.4 正定矩阵示例

这里写图片描述

SongpingWang

关注

7
点赞
踩
61

收藏

觉得还不错? 一键收藏
打赏
0
评论
协方差矩阵—Hessian矩阵—正定矩阵

一、基本概念1.1 协方差矩阵及推导1.2 黑塞矩阵示例1.3 正定矩阵定义及性质1.4 正定矩阵示例一、基本概念1.1 协方差矩阵及推导在统计学中用标准差描述样本数据的 “散布度” 公式中之所以除以 n-1 而不是 n, 是因为这样使我们以较少的样本集更好的逼近总体标准差。即统计学上所谓的 “无偏估计”。协方差矩阵的...
复制链接

扫一扫