深度学习中使用到的数学知识点

最新推荐文章于 2023-07-04 13:04:39 发布

ygfrancois

最新推荐文章于 2023-07-04 13:04:39 发布

阅读量471

点赞数 1

分类专栏：算法文章标签：数学理论

本文链接：https://blog.csdn.net/ygfrancois/article/details/89326486

版权

算法专栏收录该内容

10 篇文章 0 订阅

订阅专栏

Jacobian matrix

$\mathbf {J} ={\begin{bmatrix}{\dfrac {\partial \mathbf {f} }{\partial x_{1}}}&\cdots &{\dfrac {\partial \mathbf {f} }{\partial x_{n}}}\end{bmatrix}}={\begin{bmatrix}{\dfrac {\partial f_{1}}{\partial x_{1}}}&\cdots &{\dfrac {\partial f_{1}}{\partial x_{n}}}\\\vdots &\ddots &\vdots \\{\dfrac {\partial f_{m}}{\partial x_{1}}}&\cdots &{\dfrac {\partial f_{m}}{\partial x_{n}}}\end{bmatrix}}$

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近.

Hessian Matrix

$\mathbf {H} ={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}.$

黑塞矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。

黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。

高斯分布（正态分布）

$N(\mu,\sigma)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{\frac{(x-\mu)^2}{2\sigma^2}}$

多维高斯分布： $p(x_1,x_2,...x_n)=\frac{1}{\sqrt{2\pi*det(\Sigma)}}e^{(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))}$

KL散度

KL散度用于测量两个概率分布之间的距离。如果两个分布越接近，那么KL散度越小，如果越远，KL散度就会越大。

在VAE中，我们希望能够找到一个相对简单好算的概率分布q，使它尽可能地近似我们待分析的后验概率p(z|x)，其中z是隐变量，x是显变量。这里使用的“loss函数”就是KL散度。参考：https://zhuanlan.zhihu.com/p/22464760

$KL(p||q)=\sum{p(x)log\frac{p(x)}{q(x)}}$ 离散概率分布

$KL(p||q)=\int{p(x)log{\frac{p(x)}{q(x)}}dx}$ 连续概率分布

两个一维高斯分布的KL散度 $\int{p_1(x)log\frac{p_1(x)}{p_2(x)}}dx$ $=log\frac{\sigma_2}{\sigma_1}+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma_2^2}-\frac{1}{2}$

在p2(x)是标准正态分布的情况下（mean=0，deviation=1） $KL(\mu_1,\sigma_1)=-log\sigma_1+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}$ （VAE中的KL loss）

多维高斯分布的KL散度 $KL(p1||p2)=\frac{1}{2}[log \frac{det(\Sigma_2)}{det(\Sigma_1)} - d + tr(\Sigma_2^{-1}\Sigma_1)+(\mu_2-\mu_1)^T \Sigma_2^{-1}(\mu_2-\mu_1)]$

梯度下降法

牛顿法

高斯牛顿法

The Levenberg-Marquardt Method

纳什均衡点

GAN网络的训练中, G和D都达到最好性能时的状态点

https://www.zhihu.com/topic/19672772/intro

https://blog.csdn.net/u010420283/article/details/83098977

霍夫投票，霍夫变换

霍夫变换用于找到图像中的特征，如直线、圆形、椭圆等。霍夫变换是将图像空间变换到参数空间，在参数空间通过霍夫投票的方法找特征。

广义霍夫变换可以检测无解析式（任意形状）的形状特征。

目标检测中的霍夫变换和霍夫投票

用于3D目标检测任务VoteNet

ygfrancois

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
深度学习中使用到的数学知识点

Jacobian matrix雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近.Hessian Matrix黑塞矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式...
复制链接

扫一扫