导数的定义与应用

导数的定义

导数(Derivative)，也叫导函数。又名微商，是微积分中的重要基础概念。下面我们用图进行说明：

当函数$y=f(x)$的自变量$x$在一点 $x_0$上产生一个增量$\Delta x$时，函数输出值的增量$\Delta y$与自变增量$\Delta x$的比值在$\Delta x$趋于0时的极限$limit$如果存在，那么$limit$即为函数$f(x_0)$在$x_0$处的导数，记作$f^{\prime }(x_0)或\frac{df(x_0)}{dx}、\frac{dy}{dx}$。

这里两者等价：

由这两个公式可以推得，如果函数在任何范围内都可导，即可表示为如下方式：

高等数学引入了极限，极限是高等数学的基础，这一点是高等数学与初等数学最大的区别。导数作用是求极值，往往可以设置导数为0，即可进行求解。

左右导数与可导函数

我们知道函数的导函数趋近于0有两个方向，从左侧趋向于0是左导数，从右侧趋向于0是右导数。

左导数定义
函数$f(x)$在某点$x_0$的某以左半邻域$（x_0-\Delta ,x_o)$内有定义，当$\Delta x$从左侧无限趋近于0时，${\lim }_{\Delta x\to 0}\frac{f(x_o)-f(x_0-\Delta x)}{\Delta x}$的左极限存在，那么就称$f(x)$在$x_0$点有左导数，该极限值就是左导数的值。
右导数定义
函数$f(x)$在某点$x_0$的某以右半邻域$（x_o，x_0+\Delta )$内有定义，当$\Delta x$从右侧无限趋近于0时，${\lim }_{\Delta x\to 0}\frac{f(x_o+\Delta x)-f(x_0}{\Delta x}$的右极限存在，那么就称$f(x)$在$x_0$点有右导数，该极限值就是右导数的值

左右导数示例

函数$f(x)=|x|$，此函数左右导数不相同，左导数是-1，右导数是+1，0位置不可导。函数图像如下：

神经网络激活函数Relu,函数图像如下：

函数表达式如下：

$f(x)=max(0,x)$
即当x > 0时，函数表现为y = x;当x < 0时，函数表现为y = 0表现为分段函数的形式：

它的导数函数表达式为：

可导函数

从上面我们知道了导函数的定义，那么什么是可导函数，函数可导的条件是什么？如下：
1）函数在该点的去心邻域内有定义。
2）函数在该点处的左右导数可导
3）左导数=右导数
例如：$\sigma (x)=\frac{1}{1+e^{-x}}$的函数图像

注意：

• 不是所有的函数都有导数，一个函数也不一定在所有的点上都有导数。
• 若某个函数在某一点导数存在，则称它在这一点可导，否则为不可导。
• 对于可导的函数$f(x),f^{\prime }(x)$也是一个函数，称作$f(x)$的导函数(简称导数)
• 寻找已知的函数在某点的导数或其导函数的过程为求导。
• 求导就是一个求极限的过程，导数的四则运算法则也来源于极限的四则运算法则。
• 反之，已知导函数也可以倒过来求原来的函数，即不定积分。
• 微积分基本定理说明了求原函数与积分是等价的。
• 求导和积分是一对互逆的操作，他们都是微积分学中最为基础的概念。

导数的几何与物理意义

导数的几何意义

函数 $y=f(x)$在$x_0$ 点的导数$f^{\prime }(x)$ 的几何意义表示函数曲线在点 $P(x_o,f(x_o))$处的切线的斜率（导数的几
何意义是该函数曲线在这一点上的切线斜率）。如图：

导数的物理意义

导数与物理、几何、代数关系密切：在几何中可求切线；在代数中可求瞬时变化率；在物理中可求速度、加速度。

自由落体的示例如下：
求位移的公式：
$x=\frac{1}{2}a\ast t^2$
令$f(t)=x$
对其求导：
$f^{\prime }(t)=a\ast t$
而我们的速度时间变化公式为：$v=a\ast t$
再对其求导：
$f^{\prime \prime }(t)=a$
而我们的加速度为a
由上面可以知道位移关于时间的一阶导数是瞬时速度，二阶导数是加速度。

导数与函数单调性

$f^{\prime }(x)>0时单调递增，f^{\prime }(x)<0时单调递减$

例如：$函数f(x)=x^2-2x$

此函数的导函数是$f^{\prime }(x)=2x-2$
$当f^{\prime }(x)>0,即x>1时，函数单调递增$
$当f^{\prime }(x)<0,即x<1时，函数单调递减$

极值定理

导数为我们寻找极值提供依据，对于导函数而言，因为再极值位置必然有函数的导数等于0,即$f^{\prime }(x)=0$。极值处函数的导数等于0，这是必要条件，但不是充分条件，因为极值处的导数必然等于0，但是导数等于0处不代表一定是极值。

例如：$函数f^{\prime }(x)=x^3$

$其导数为：f^{\prime }(x)=2x^2,令导数等于0,求得x=0,显然x=0,但是不是函数的极值！$

函数的凹凸性

函数的二阶导数是和函数的凹凸性是有关系的，凹凸性怎么定义的？
先来做简单的介绍，这里先记住凸函数是向下凸的， 反之就是凹的，是否是凸函数可以通过二阶导数，如果二阶导数是大于 0 就是凸函数。

例如：$函数f(x)=x^2$

其二阶导数是f’'(x) = 2 >0,所以该函数是凸函数

提示：$一阶导数等于0的点称之为驻点，驻点是函数增减性的交替点，一侧增一侧减。$
$二阶导数等于0的点称之为拐点，拐点是函数凹凸性的交替点，一侧凸一侧凹$

一元函数泰勒展开

若函数$f(x)$在包含$x_0$的某个开区间$（a,b）$上具有$(n+1)$阶导数，那么对于任意$x\in (a,b)$，有

注意：0！ = 1可以看作是对于如下规律的完整：

• 5!= 6!/6
• 4!=5!/5
• 3!=4!/4
• 2!=3!/3
• 1!=2!/2
• 0!=1!/1

上述就是泰勒公式，是一个用函数在某点的信息描述其附近取值的公式。如果函数满足一定的条件，泰勒公式可以用函数在某一点的各阶导数值做系数构建一个多项式来近似表达这个函数。

我们对方程进行变形，使$f(x)=f(x_0+(x-x_0)$其中$(x-x_0)$表示一个微小的差值，可以使用$\Delta x$表示：

更加通俗的表示为：

泰勒展开在高等数学里是非常有用的，它可以用来研究函数某些性质完成很多任务。在机器学习里面，它用来求函数的极值用的，很多时候函数$f(x)$ 可能会非常复杂，无法直接计算，我们用泰勒展开做一个近似，梯度下降法怎么做的呢？是做一个近似，保留泰勒展开一阶项。而牛顿法是保留泰勒展开二阶项，忽略二阶以上的项，用泰勒二阶展开来进行函数 $f(x)$近似表达。

一阶泰勒公式：

二阶泰勒公式：