#机器学习--高等数学基础--第二章：导数与微分

引言

        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。

---

1、导数的概念

        定义1：设函数 $y=f(x)$ 在点 $x_0$ 的某个邻域内有定义，当自变量 $x$ 在 $x_0$ 处取得增量 $\Delta x$ （点 $x_0+\Delta x$ 仍在该邻域内）时，相应地，因变量取得增量 $\Delta y=f(x_0+\Delta x)-f(x_0)$ ；如果 $\Delta y$ 与 $\Delta x$ 之比当 $\Delta x\to 0$ 时的极限存在，那么称函数 $y=f(x)$ 在点 $x_0$ 处可导，并称这个极限为函数 $y=f(x)$ 在点 $x_0$ 处的导数，记为 $f^{\prime }(x_0)$ ，即 $f^{\prime }(x_0)={\lim }_{\Delta x\to 0}\frac{\Delta y}{\Delta x}={\lim }_{\Delta x\to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$ ，也可记作 $y^{\prime }{|}_{x=x_0}$， $\frac{dy}{dx}{|}_{x=x_0}$ 或 $\frac{df(x)}{dx}{|}_{x=x_0}$ 。

        定义2：根据定义1可知函数 $f(x)$ 在点 $x_0$ 处的导数 $f^{\prime }(x_0)$ 是一个极限，而极限存在的充分必要条件是左、右极限都存在且相等，因此 $f^{\prime }(x_0)$ 存在即 $f(x)$ 在点 $x_0$ 处可导的充分必要条件是左、右极限 ${\lim }_{h\to 0^{-}}\frac{f(x_0+h)-f(x_0)}{h}$ 及 ${\lim }_{h\to 0^{+}}\frac{f(x_0+h)-f(x_0)}{h}$ 都存在且相等，这两个极限分别称为函数 $f(x)$ 在点 $x_0$ 处的左导数和右导数，记作 $f_{-}^{\prime }(x_0)$ 及 $f_{+}^{\prime }{x}_0$ ，左导数和右导数统称为单侧导数，

        定义3：如果函数 $y=f(x)$ 在开区间 $I$ 内处处可导，此时对于任一 $x\in I$ ，都对应着 $f(x)$ 的一个确定的导数值，这样就构成了一个新的函数，这个函数叫做原来函数 $y=f(x)$ 的导函数，记作 $y^{\prime }$ ， $f^{\prime }(x)$ ， $\frac{dy}{dx}$ ，或 $\frac{df(x)}{dx}$ 。

        性质：
        1）函数 $f(x)$ 在点 $x_0$ 处可导的充分必要条件是左导数 $f_{-}^{\prime }(x_0)$ 和右导数 $f_{+}^{\prime }{x}_0$ 都存在且相等。
        2）如果函数 $y=f(x)$ 在某点处可导，那么函数在该点必连续，反之，函数在某点连续却不一定在该点可导（由性质1可得）。

---

2、基本初等函数的导数公式

$$C^{\prime }=0$$$$(x^{\mu }{)}^{\prime }=\mu x^{\mu -1}$$$${\sin }^{\prime }x=\cos x$$$${\cos }^{\prime }x=-\sin x$$$$(a^x{)}^{\prime }=a^x\ln a(a>0,a\ne 1)$$$$(e^x{)}^{\prime }=e^x$$$$({\log }_{a}x{)}^{\prime }=\frac{1}{x\ln a}(a>0,a\ne 1)$$$${\ln }^{\prime }x=\frac{1}{x}$$$${\arcsin }^{\prime }x=\frac{1}{\sqrt{1-x^2}}$$$${\arccos }^{\prime }x=-\frac{1}{\sqrt{1-x^2}}$$$${\arctan }^{\prime }x=\frac{1}{1+x^2}$$ $$arcco{t}^{\prime }x=-\frac{1}{1+x^2}$$

---

3、函数的求导法则

        1）初等函数的求导法则，如果函数 $u=u(x)$ 及 $v=v(x)$ 都在点 $x$ 具有导数，那么它们的和、差、积、商（除分母为零的点外）都在点 $x$ 具有导数，且
                $$（1）[u(x)\pm v(x){]}^{\prime }=u^{\prime }(x)\pm v^{\prime }(x)；$$

                $$（2）[u(x)v(x){]}^{\prime }=u^{\prime }(x)v(x)+u(x)v^{\prime }(x)；$$

                $$（3）[\frac{u(x)}{v(x)}{]}^{\prime }=\frac{u^{\prime }(x)v(x)-u(x)v^{\prime }(x)}{v^2(x)}(v(x)\ne 0)。$$

        2）反函数的求导法则，如果函数 $x=f(y)$ 在区间 $I_y$ 内单调、可导且 $f^{\prime }(y)\ne 0$ ，那么它的反函数 $y=f^{-1}(x)$ 在区间 I x = { x ∣ x = f ( y ) , y ∈ I y } I_{x}=\{x|x=f(y),y\in I_{y}\} Ix​={x∣x=f(y),y∈Iy​} 内也可导，且 $$[f^{-1}(x){]}^{\prime }=\frac{1}{f^{\prime }(y)}$$ 或 $$\frac{dy}{dx}=\frac{1}{\frac{dx}{dy}}$$

        3）复合函数的求导法则，如果 $u=g(x)$ 在点 $x$ 可导，而 $y=f(u)$ 在点 $u=g(x)$ 可导，那么复合函数 $y=f[g(x)]$ 在点 $x$ 可导，且其导数为 $$\frac{dy}{dx}=f^{\prime }(u)\ast g^{\prime }(x)$$ 或 $$\frac{dy}{dx}=\frac{dy}{du}\ast \frac{du}{dx}$$

---

4、高阶导数

        定义：函数 $y=f(x)$ 的导数 $y^{\prime }=f^{\prime }(x)$ 仍然是 $x$ 的函数，我们把 $y^{\prime }=f^{\prime }(x)$ 的导数叫做函数 $y=f(x)$ 的二阶导数，记作 $y^{\prime \prime }$ 或 $\frac{d^{2}y}{d{x}^2}$ ，类似地，二阶导数的导数，叫做三阶导数，三阶导数的导数叫做四阶导数，一般地， $(n-1)$ 阶导数地导数叫做 $n$ 阶导数，函数 $y=f(x)$ 具有 $n$ 阶导数，也常说成函数 $f(x)$ 为 $n$ 阶可导。二阶及二阶以上的导数统称为高阶导数。

---

5、函数的微分

        定义：设函数 $y=f(x)$ 在某区间内有定义， $x_0$ 及 $x_0+\Delta x$ 在这区间内，如果函数的增量 $\Delta y=f(x_0+\Delta x)-f(x_0)$ 可表示为 $\Delta y=A\Delta x+o(\Delta x)$ ，其中 $A$ 是不依赖于 $\Delta x$ 的常数，那么称函数 $y=f(x)$ 在点 $x_0$ 是可微的，而 $A\Delta x$ 叫做函数 $y=f(x)$ 在点 $x_0$ 相应于自变量增量 $\Delta x$ 的微分，记作 $dy$ ，即 $dy=A\Delta x$ 。

        微分运算法则：要计算函数的微分，只要计算函数的导数，再乘自变量的微分即可。