深度学习涉及到的高等数学知识点总结

---

一、映射

       设A和B是两个非空集合,如果按照某种对应关系f，对于集合A中的任何一个元素a,在集合B中都存在唯一 的一个元素b与之对应，那么，这样的对应(包括集合A，B,以及集合A到集合B的对应关系f)叫做集合A到集合B的映射(Mapping)。
       记做f :A→B。其中，b称为a在映射f下的象，记作: b= f (a); a称为b关于映射f的原像。集合A中所有元素的象的集合记作f(A)。

二、函数

       给定一个数集A,假设其中的元素为x。现对A中的元素x施加对应法则f，记作f (x),得到另一数集B。假设B中的元素为y。则y与x之间的等量关系可以用y=f (x)表示。函数概念含有三个要素:定义域A、值域B和对应法则f。其中核心是对应法则f，它是函数关系的本质特征。
        函数最早由中国清朝数学家李善兰翻译。

       自变量(函数) : 一个与它量有关联的变量，这一量中的任何一值都能在它量中找到对应的固定值。
       因变量(函数) :随着自变量的变化而变化，且自变量取唯一值时,因变量(函数)有且只有唯一值与其相对应。
       函数值:在y是x的函数中，x确定一个值， y就随之确定一个值，当x取a时，y就随之确定为b, b就叫做a的函数值。

       函数具有的特性包括有界性、单调性、奇偶性、周期性、连续性、凹凸性。

三、基本初等函数

       由基本初等函数构成的符合函数被称为初等函数。
       性质：单调性、对称性、饱和性、周期性、奇偶性、周期性、连续性。
       函数：常函数、幂函数、指数函数、对数函数、三角函数、反函数。

四、极限

两个重要极限：

五、导数

5.1 定义

       导数. (Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数y=f (x) 的自变量x在一点x0上产生一个增量△x时，函数输出值的增量△y与自变量增量△x的比值在△x趋于0时的极限a如果存在，a即为在x0处的导数，记作f’ (x0) 或df (x0) /dx.

5.2 基本公式

5.3 几何意义

       导数是函数的局部性质。一个函数在某一点的导数描述 了这个函数在这一点附近的变化率。如果函数的自变量和取值都是实数的话，函数在某一点的导数就是该函数所代表的曲线在这一点 上的切线斜率。导数的本质是通过极限的概念对函数进行局部的线性逼近。例如在运动学中，物体的位移对于时间的导数就是物体的瞬时速度。

5.4 复合函数求导

1. 设y是u的函数y=f(u), u是x的函数u=φ(x)，如果φ(x)的值全部或部分在f(u) 的定义域内，则y通过u成为x的函数，记作y=f[φ(x)],称为由函数y=f(u)与u=φ(x)复合而成的复合函数。

2. 值得注意的是x的定义一定要使得y有意义，所以不是所有组合起来的函数都能成为符合函数。比如: y=log(cosx-3)就不是复合函数,因为任何x都不能使y有意义。

3. 复合函数通俗地说就是函数套函数，是把几个简单的函数复合为一个较为复杂的函数。复合函数中不一定只含有两个函数，有时可能有两个以上,如y=f(u)， u=Q(v), V=ψ(x),则函数y=f{p[ψ(x)]}是x的复合函数，u、V都是中间变量。

4. 复合函数对自变量的导数,等于已知函数对中间变量的导数，乘以中间变量对自变量的导数(称为链式法则) 例:若h(a)=f[g(x)], 则h’(a)=f’[g(x)]*g’(x)

5.5 与单调性的关系

       若导数大于零,则单调递增;若导数小于零,则单调递减;导数等于零为函数驻点，不一定为极值点。 需代入驻点左右两边的数值求导数正负判断单调性。

5.6 导数阶数

       一阶导:正表增;负表减。
       二阶导:正表下凸，一阶导增，增得越来越快/减得越来越慢;负表上凸，一阶导减，增得越来越慢/减得越来越快。
       三阶及以上的导数,几何意义太抽象了，大致理解如下: 三阶导正，二阶导增，下凸越来越厉害，. 上凸越来越弱。

5.7 偏导数

       一个多变量的函数的偏导数,就是它关于其中一个变量的导数而保持其他变量恒定，表示固定面上一点的切线斜率。
       偏导数f’x(x0,y0)表示固定面上一点对 x轴的切线斜率。
       偏导数f’y(x0,y0)表示固定面上一点对 y轴的切线斜率。

       高阶偏导数:如果二元函数z=f(x;y)的偏导数fx(x,y)与f’y(x,y)仍然可导，那么这两个偏导函数的偏导数称为z=f(x,y)的二阶偏导数。二元函数的二阶偏导数有四个:f"xx，f"xy, f"yx, f"yy。

5.8 高阶导数意义

➢ 一阶导决定增减
➢ 二阶导决定凹凸
➢ 三阶导决定偏度

5.9 可微、可导、连续的关系

       可微=>可导=>连续=>可积，在一元函数中，可导与可微等价。
       可导和可微是一样的。可导必连续，连续不一定可导。连续必可积,可积不一定连续。可积必有界，可界不一定可积。

5.10 二阶导数

● 定义
       二阶导数,是原函数导数的导数，将原函数进行二次求导。
● 意义

       1、切线斜率变化的速度,表示的是一阶导数的变化率。
       2、在图形上,它主要表现函数的凹凸性。

● 驻点
       驻点(Stationary Point)又称为平稳点、稳定点或临界点(Critical Point)是函数的一阶导数为零，即在“这一点” 函数的输出值停止增加或减少，如y=x^2。

● 拐点
       拐点，又称反曲点，在数学上指改变曲线向上或向下方向的点，直观地说拐点是使切线穿越曲线的点，是曲线凹凸发生改变的点。比如: y=x^3

       若函数二阶可导， 某点二阶导数值为零,两端二阶导数值异号。则为函数的拐点。

       在驻点处的单调性可能改变,而在拐点处则是凹凸性可能改变。

● 定理
1、 一阶导数等于0,二阶导数大于0，函数有极小值点，为凸函数。

2、一阶导数等于0,二阶导数小于0，函数有极大值点,为凹函数。

3、一阶导数等于0,二阶导数等于0,是函数的拐点和驻点，或者极值点。

4、函数的极值不一定是驻点，比如y=|x|， 有极值,但没有驻点，因为最小处不可导。

5、函数的驻点不一定是极值，比如y=x^3, 函数在x=0处的导数为0，但是函数没有极值。

6、对于可导函数，极值点必定是驻点。

7、(1) y=x^3,在0点1阶导数、2阶导数都=0,但0不是它的极值点，是函数的驻点和拐点。
(2)二阶导不为零，说明一阶导在该点附近的符号发生改变,所以一定是极值点。

六、微积分

七、泰勒级数

       泰勒级数(英语: Taylor series)用无限项连加式级数来表示一个函数,这些相加的项由函数在某一点的导数求得。
       泰勒级数在近似计算中有重要作用。