优化数学基础

目标函数

在机器学习中，把需要最大化或者最小化的函数称为目标函数。而在其中一大部分都是最小化，在最小化的优化中，目标函数又被称为代价函数(cost function)或者损失函数(loss function)。

导数和偏导数

假设有一个函数 $y=f(x)$，导数 $f'(x)$ 代表了 $f(x)$ 在点x上的斜率。求导对于机器学习中优化问题的有很重要的意义。例如在梯度下降中，优化的方向就是导数为负的方向。

通常，导数为零的点就是我们的优化目的地，不管是全局的优化还是局部的优化。

当一个函数的变量有很多的时候，我们如果只想知道在点x处只有一个变量$x_i$变化时函数的变化，此时，就需要用到偏导数的概念了。

Jacobian矩阵

有时我们需要计算输入和输出都为向量的函数的所有偏导数，包含这样的偏导数的矩阵被称为Jacobian矩阵。如果我们有一个函数