深度学习--数学基础知识介绍

最新推荐文章于 2024-04-11 02:27:51 发布

波澜不惊云的心声

最新推荐文章于 2024-04-11 02:27:51 发布

阅读量491

点赞数

分类专栏：深度学习文章标签：深度学习算法

本文链接：https://blog.csdn.net/qq_36712997/article/details/105795101

版权

本文介绍了深度学习所需的基础数学知识，包括梯度、雅可比矩阵、Hessian矩阵及其在极值点判定中的应用。还探讨了一元和多元函数的泰勒展开，并简要说明了梯度下降法如何利用一阶泰勒展开寻找函数极小值。

摘要由CSDN通过智能技术生成

这篇文章主要用来介绍深度学习涉及到的相关数学知识，算是一个知识储备。

1. 基本概念

1.1 梯度

多元函数的梯度是函数对各个变量求偏导数后形成的向量，记多元函数为 $f(x_1,x_2,\ldots,x_n)$ ，则该函数的梯度为

$\nabla f(x) = \begin{bmatrix} { \frac{\partial f}{\partial x_2} }, { \frac{\partial f}{\partial x_2} }, \ldots, { \frac{\partial f}{\partial x_{n-1}} }, { \frac{\partial f}{\partial x_n} } \end{bmatrix}$

1.2 雅可比矩阵

设有向量 $\vec{x}$ 和 $\vec{y}$ ，且有 $\vec{x} \in R^n$ , $\vec{y}\in R^m$ ，即 $y_i=f(x_i)$ 。那么雅可比矩阵就是输出向量的每个分量对输入向量的每个分量求偏导后形成的矩阵。
$\begin{bmatrix} { \frac{\partial y_1}{\partial x_1} } & { \frac{\partial y_1}{\partial x_2} } & \cdots & { \frac{\partial y_1}{\partial x_n} } \\ { \frac{\partial y_2}{\partial x_1} } & { \frac{\partial y_2}{\partial x_2} } & \cdots & { \frac{\partial y_2}{\partial x_n} } \\ \vdots & \vdots & \ddots & \vdots \\ { \frac{\partial y_m}{\partial x_1} } & { \frac{\partial y_m}{\partial x_2} } & \cdots & { \frac{\partial y_m}{\partial x_n} } \\ \end{bmatrix}$