应用数学与机器学习基础（三）

应用数学与机器学习基础（三）

数值计算：
机器学习算法通常需要大量的数值计算。通常是指通过迭代过程更新解的估计值来解决数学问题的算法，而不是通过解析过程推导出公式来提供正确解的方法。
常见的操作包括优化（找到最小化或最大化函数值得参数）和线性方程组求解
先介绍几个概念：导数、偏导数、方向导数和梯度
导数（Derivative）：是微积分中的重要基础概念。当函数y=f（x）的自变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f’（x0）或df（x0）/dx。
导数是函数的局部性质。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。
偏导数：坐标轴方向上的函数的变化率。
方向导数： 对于多元函数，如果说偏导数表示的是多元函数在沿坐标轴的变化率，那么可以说方向导数是沿着任意一指定方向的变化率，不一定是沿着坐标轴。*、
梯度：是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数
方向导数的定义和计算方法：

二元函数f(x,y)在L方向上的导数，其中L的单位向量是e=(cos α,cos β)，该方向导数表示的是函数F沿着L方向的变化率。当让e=（1，0）时上述式子其实是 f 对于 x 的偏导数，即沿着 x 轴的变化率，而当让e=（0，1）时，上述式子便是 f 对于 y的偏导数，即沿着 y 轴的变化率
方向导数的求解：

方向导数等于函数在x处的偏导数乘以单位向量的x部分，加上在y处的偏导数乘以单位向量的y部分，得到的值就是方向导数。
梯度：
在二元函数的情况下，如果函数f(x,y)具有一介连续偏导数，对于函数上任意一点p(x0,y0)都有这样一个向量 发（x0,y0)i + f(x0,y0)j,那么这个向量就称为f(x,y)在p点的梯度。
方向导数和梯度的关系：

其中theta表示l的方向与梯度的方向的夹角
当 theta = 0 时，e 与梯度方向相同时，方向导数最大，函数增加最快
当 theta = pi 时，e 与梯度方向相反时，方向导数最小，函数减少最快
*思考：为什么局部下降最快的方向就是梯度的负方向？
https://zhuanlan.zhihu.com/p/36503663*（参考这篇文章）
梯度是一个向量，每一个分量表示函数f关于xi的偏导数。梯度向量指向函数增长最快的方向，负梯度向量指向函数减小最快的方向。