机器学习基础02-高等数学

微积分

集合与函数

• 集合基本概念
• 集合的运算
• Venn图
• 函数

集合定义

• 定义一： 具有某种特定性质的事物的总体
• 元素：组成这个集合的事物
• 如：实数集R是一个集合，任何一个实数都是这个集合的元素；你书架上的所有的书就是一个集合，其中你的一本书是他的元素。
• 表示方式：通常以大写的字母$A,B,C$来表示集合，使用小写字母$a,b,c$等表示集合的元素。若$a$是$A$的元素，则说$a$属于$A$，记作$a\in A$，否则说$a$不属于$A$，记作$a\notin A$

集合的表示方法

• 列举法：把集合中的全部元素一一列出来，外加花括号。例如： A = { 1 , 2 } A=\{1,2\} A={1,2}，优点：简单明了；缺点：元素太多时无法列全，不能表示无限集合
• 描述法：列出规定这个集合特定的性质P，例如： { x ∣ x 2 − 2 x − 3 = 0 } \{x|x^2-2x-3=0\} {x∣x2−2x−3=0}的解。优点：可以表示任何集合，够简洁，缺点：性质P不容易抽象

集合的分类

• 有限集：由有限集组成，例如全体中国人，你所有的书等
• 无限集：由无限个元素组成的集合，例如整数集，实数集等
• 空集：不包含任何元素的集合，用符号$\varphi$表示
• 常用数集：$N$自然数集 $Z$整数集 $Q$有理数集 $R$实数集

集合运算

令 A = { 1 , 2 , 3 , 4 , 5 } , B = { 1 , 3 , 5 , 7 , 9 } , C = { 1 , 3 } A=\{1,2,3,4,5\}, B=\{1,3,5,7,9\}, C=\{1,3\} A={1,2,3,4,5},B={1,3,5,7,9},C={1,3}

• 交运算：两个集合当中的共有元素，用符号$\cap$表示。例如，$A\cap B=C$
• 并运算：两个集合当中的全部元素，用符号$\cup$表示。例如： A ∪ B = { 1 , 2 , 3 , 4 , 5 , 7 , 9 } A\cup{B}=\{1,2,3,4,5,7,9\} A∪B={1,2,3,4,5,7,9}
• 补运算：由属于$A$而不属于$B$的元素组成的集合，称为$B$关于$A$的相对补集，记作$A-B$或$$\begin{gathered} A \\ B \end{gathered}$$如： A − C = { 2 , 4 , 5 } A-C=\{2,4,5\} A−C={2,4,5}
• 子集：如果$A$的所有元素都属于$B$，则称$A$是$B$的子集，记为$A\subseteq B$。例如：$C\subseteq A$。

Venn图

函数

定义，设有两个变量$x$和$y$,如果对于$D$中的每个$x$值，按照一定的法则，变量$y$总有唯一的数值与之对应，则称变量$y$为变量$x$的函数，记作$y=f(x)$。

其中$x$称为自变量，$y$称为因变量；自变量所有可能取值的集合称为定义域，$y$因变量所有可能取值的集合称为值域，一定的法则$f$称为对应关系。

函数的二要素 ：定义域与对应关系

注：定义域是自变量所能取的使算式有意义的一切数值

极限

区间

**有限区间 **，开区间$(a,b)$ 闭区间$[a,b]$，半开区间$(a,b]$

无限区间，$(-\infty ,b)$,$[a,+\infty )$

邻域

设$a$与$\delta$是两个实数，且$\delta >0$，数集$x||x-a|<\delta$被称为点$a$的$\delta$邻域，点$a$叫做这邻域的中心，$\delta$叫做这邻域的半径。
U δ ( a ) = { x ∣ a − δ &lt; x &lt; a + δ } U_{\delta}(a)=\{x|a-\delta&lt;x&lt;a+\delta\} Uδ​(a)={x∣a−δ<x<a+δ}
点$a$的去心的$\delta$邻域，记作$U_{\delta }^0$。 U δ = { x ∣ 0 &lt; ∣ x − a ∣ &lt; δ } U_{\delta}=\{x|0&lt;|x-a|&lt;\delta\} Uδ​={x∣0<∣x−a∣<δ}

数列的极限

$\forall \epsilon >0,若\exists N>0,使当n>N时，有|x_n-a|<\epsilon 成立$，则称数列 { x n } \{x_n\} {xn​}当$n\to \infty$时，以$a$为权限，记为：
$$\underset{n\to \infty }{\lim }{x}_n=a$$
注：$\forall$$为对任意的，\exists$为存在

函数的极限性质

设是定义在$a$点去心邻域上的函数

四则运算

复合函数的极限

保号性

夹逼准则

洛必达法则

例$f(x)=\frac{sin(x)}{x}$在$x\to 0$的极限是？

连续与微分

知识点：

• 函数的连续性
• 函数的间断点
• 导数与微分

增量的定义

设函数$f(x)$在$U_{\delta }(x_0)$内有定义，$\forall x\in U_{\delta }(x_0)$，$\Delta x=x-x_0$，称自变量在点$x_0$的增量。$\Delta y=f(x)-f(x_0)$，称为函数$f(x)$相应于$\Delta x$的增量

连续性

如果函数$f(x)$在某点$x$的邻域内有定义，在这点的极限${\lim }_{x\to x_0}f(x)$存在，且极限值等于该点的函数值，则称该函数在该点处$x=x_0$连续。

设$x=x_0+\Delta x$,$\Delta y=f(x)-f(x_0)$,$\Delta x\to 0$就是$x\to x_0$,$\Delta y\to 0$就是$f(x)\to f(x_0)$.

试证：
$$f(x)=\left\{\begin{array}{c}xsi{n}_x^1,x̸=0\\ 0,x=0\end{array}\right\}$$
在x=0处连续

间断点

函数在某点处连续必须满足三个条件：

• 在这点邻域内有定义
• 在这一点的极限存在
• 极限值等于函数值

如果有一个条件不满足，则称函数在此点不连续，或间断，并称点为函数的不连续点，间断点。

导数与微分

是优化算法的基础

函数的导数

设函数在某点的某去心邻域内有定义，当自变量在此点处取得增量（增量不超过邻域），相应地函数取得增量，如果函数值增量与自变量增量之比，在自变量增量$\to 0$时极限存在，则称函数在此点可导，并称这个极限为函数在此点的导数，记为$y^{\prime }{\mid }_{x=x_0}$

导数四则运算

复数函数求导

导数有什么用？

• 链式求导法则：神经网络反向传播基础
• 梯度下降法：最简单的优化方法，也是由导数延申出的概念

函数的微分

积分

• 不定积分
• 定积分
• 二重积分

不定积分

微分与积分，是互逆运算

在某一区间上$F^{\prime }(x)=f(x)$，则称$F(x)$为$f(x)$在这个区间上的一个原函数

例：$(x^2{)}^{\prime }=2x,(sinx{)}^{\prime }=cosx$

所以：$x^2$是$2x$的一个原函数，$sinx$是$cosx$的一个原函数

定义2，函数$f(x)$的所有原函数，称为$f(x)$的不定积分，记作：$\int f(x)dx=F(x)+C$

其中$\int 为积分号，f(x)为被积函数，dx为积分变量=F(x)+C为常数，f(x)dx为积分表达式$

不定积分的性质

对于积分符号直接求导就得到原函数
$$(\int f(x)dx{)}^{\prime }=f(x)或d\int f(x)dx=f(x)dx$$

$$\int F^{\prime }(x)dx=F(x)+C或\int dF(x)=F(x)+C$$

运算法则：
$$\int af(x)dx=a\int f(x)dx$$

$$\int [f(x)\pm g(x)]dx=\int f(x)dx\pm \int g(x)dx$$

$\int [f(x)\pm g(x)]dx=\int f(x)dx\pm \int g(x)dx$

不定积分的基本公式

定积分的概念

设函数在区间上连续，且函数值大于等于0，则由直线x=a,x=b,x轴及曲线y=f(x)所围成的图形称为曲边梯形

定积分有积分上下限，经常对无规则封闭曲线围成的图形的面积进行求解

牛顿-莱布尼兹公式

微积分基本定理也可叫做牛顿-莱布尼兹定理
它是用求原函数的方法计算定积分的数值
定理1 若$f(x)$在区间$[a,b]$上连续，并且$F(x)$是$[a,b]$上的一个原函数，则：
${\int }_a^{b}f(x)dx=F(x){|}_a^b=F(b)-F(a)$
例1：
$${\int }_0^1{x}^{2}dx$$
例2：
$${\int }_0^{x}sinxdx$$
解：
$${\int }_0^1{x}^{2}dx=\frac{1}{3}d{x}^3=\frac{1}{3}{x}^3{|}_0^1=\frac{1}{3}(1-0)=\frac{1}{3}$$
$${\int }_0^{x}sinxdx=-{\int }_0^{x}dcosx=-(cosx){|}_0^x=-(cos\pi -cos0)=-(-1-1)=2$$

定积分公式

二重积分

定义4 将区域$D$任意分成$n$个子域$\Delta {\sigma }_i(i=1,2,...,n)$,并以$\Delta {\sigma }_i$表示第$i$个子域的面积。在$\Delta {\sigma }_i$上任取一点(${\xi }_i,{\eta }_i$),作和${\sum }_{i==1}^{n}f({\xi }_i,{\eta }_i)\Delta {\sigma }_i$如果当各个子域的直径中的最大值$\lambda$趋于零时，此和式的权限存在，则称此权限为函数$f(x,y)$在闭区域$D$上的二重积分。
记为：
$${\iint }_{D}f(x,y)d\sigma$$
即：
$${\iint }_{D}f(x,y)d\sigma =\underset{\lambda \to 0}{\lim }\sum _{i=1}^{n}f({\xi }_i,{\eta }_i)\Delta {\sigma }_i$$
这时，称$f(x,y)$在$D$上可积，其中$f(x,y)$称为被积函数，$f(x,y)d\sigma$称为被积表达式，$D$被为积分域，$d\sigma$称为面积元素，$\iint$称为二重积分号

性质

$${\iint }_{D}kf(x,y)d\sigma =k{\iint }_{D}f(x,y)d\sigma (k为常数)$$
$${\iint }_D[f(x,y)\pm g(x,y)]d\sigma ={\iint }_{D}f(x,y)d\sigma \pm {\iint }_{D}g(x,y)d\sigma$$
$${\iint }_{D}f(x,y)d\sigma ={\iint }_{D_1}f(x,y)d\sigma +{\iint }_{D_2}f(x,y)d\sigma 其中D1D2是区域D的两个子区域$$
如果在D上，$f(x,y)\le g(x,y)$，则${\iint }_{D}f(x,y)d\sigma \le {\iint }_{D}g(x,y)d\sigma$

矩阵求导与Hessian矩阵

• 矩阵求导
• Hessian矩阵

矩阵求导

• 对标量求导
• 对向量求导
• 对矩阵求导，一般有两种方法：分子分局法；分母分局法

标量关于标量x的求导

$\frac{dy}{dx}$，最普通的求导

向量关于标量x的求导

设向量$y=[y1,y2,...,yn{]}^T$，关于标量求导就是$y$的每一个元素分别对$x$求导，可以表示为：
$$\frac{dy}{dx}=\left[\begin{array}{c}\frac{dy1}{dx}\\ \frac{dy2}{dx}\\ \frac{dyn}{dx}\end{array}\right]$$

矩阵关于标量x的求导

矩阵对标量的求导类似于向量关于标量的求导，也就是矩阵中的每个元素分别对标量x求导

$$A=\left\{\begin{array}{cccc}\frac{d{y}_{11}}{dx}& b& \cdots & e\\ f& g& \cdots & j\\ ⋮& ⋮& \ddots & ⋮\\ p& q& \cdots & t\end{array}\right\}$$

标量关于向量x的导求数

标量y关于向量$x=[x1,x2,...,xn{]}^T$的求导可以表示为（以分子布局法为例）：
$$\frac{\partial y}{\partial x}=[\frac{\partial y}{\partial x_1}\frac{\partial y}{\partial x_2}...\frac{\partial y}{\partial x_n}]$$

向量关于向量x的导数

对于向量求导，我们可以先将向量看做一个标量，然后使用标量求导法则，最后将向量形式化为标量进行。
设向量函数（即函数组成的向量）

矩阵关于向量x的导数

标量关于矩阵的导数

对于m*n矩阵求

向量关于矩阵的导数

设p维向量$y=$

矩阵关于矩阵的导数

会生成一个超级矩阵……

区别

分子布局法

• 求导结果的维度，和分子维度一致
• 如果向量$y$是一个$m$维的列向量，求导结果$\partial y/\partial x$也是一个$m$维列向量
  分母分局法
• 求导结果的维度，和分母维度一致
• 如果向量$y$是一个$m$维的列向量，求导结果$\partial y/\partial x$也是一个$m$维行向量
  对于分子布局和分母布局的结果来说，两者相差一个转置

Hessian矩阵

定义 设$f(x)$是一个二阶可微分的标量函数，其中$x=(x_1,x_2,...,x_n{)}^T$
那么定义$f(x)$对$x$的海森矩阵为$$\frac{{\partial }^{2}f(x)}{\partial x\partial x^T}$$
例：求$f(x)=2x_1+x_2^2+2x_3^2+x_1{x}_3-x_1{x}_2$的Hessian矩阵