清华科技大讲堂-《机器学习与深度学习中的数学》讲稿

内容提要
需要哪些数学知识
微积分
线性代数与矩阵论
概率论
信息论
最优化方法
随机过程
图论
需要哪些数学知识
现状分析
数学是给机器学习、 深度学习的初学者和进阶者造成困难的主要原因之一

国内本科数学教学方式、 学生学习质量上存在的不足-过于抽象，偏重于计算，忽视了对数学思维、 建模能力的培养-清华大学换用国外线性代数教材事件， 如果结合一些具体的例子来讲解会好很多

某些数学知识超出了本科一般理工科专业的范畴 - 矩阵论/矩阵分析，信息论，最优化方法，随机过程，图论

通常情况下， 高校、 其他机构在教《机器学习》 、《深度学习》 之前不会为学生把这些数学知识补齐学生普遍对数学存在一种恐惧心理， 数学自信的人只占少部分

究竟需要哪些数学知识？
1.微积分-一元函数微积分，多元函数微积分， 是整个高等数学的基石

2.线性代数与矩阵论-矩阵论本科一般不讲

3.概率论-内容基本已经覆盖机器学习的要求

4.信息论 - 一般专业不会讲，如果掌握了概率论， 理解起来并不难

5.最优化方法 - 学了这门课的学生非常少， 但对机器学习、深度学习非常重要，几乎所有算法归结为求解优化问题

6.随机过程-本科一般不学，但在机器学习中经常会使用，如马尔可夫过程，高斯过程，后者应用于贝叶斯优化

7.图论-计算机类专业本科通常会学，但没有学谱图理论

第1部分-微积分
为什么需要微积分？
研究函数的性质 - 单调性， 凹凸性

求解函数的极值

概率论、 信息论、 最优化方法等的基础

一元函数微积分
极限 - 微积分的基石， 数列的极限， 函数的极限

函数的连续性与间断点

上确界与下确界

Lipschitz连续性

导数，一阶导数，高阶导数，导数的计算-符号微分，数值微分，自动微分
导数与函数的性质，单调性，极值，凹凸性

泰勒公式

不定积分及其计算

定积分及其计算

广义积分及其计算

常微分方程的基本概念

常系数线性微分方程的求解

基本函数的求导公式

四则运算的求导公式

(f(g(x)))^{\prime}=f{\prime}(g) g^{\prime}(x)(f(g(x)))
′
=f
′
(g)g
′
(x)

复合函数的求导公式

激活函数的导数

f(x)=f(a)+\frac{f^{\prime}(a)}{1 !}(x-a)+\frac{1}{2} f^{\prime \prime}(a)(x-a)^{2}+\ldots+\frac{1}{n !} f^{{(n)}(a)(x-a)}{n}+R_{n}(x)f(x)=f(a)+
1!
f
′
(a)
​
(x−a)+
2
1
​
f
′′
(a)(x−a)
2
+…+
n!
1
​
f
(n)
(a)(x−a)
n
+R
n
​
(x)

一元函数的泰勒公式-连接一元函数微分学各知识点的桥梁

多元函数微积分
偏导数的定义与计算

梯度的定义与性质
方向导数的定义与性质
高阶偏导数的计算
链式法则 - 熟练计算多元函数的偏导数

雅克比矩阵 - 链式法则的矩阵形式
Hessian矩阵与多元函数的极值， 凹凸性
向量与矩阵求导公式

多元函数的泰勒公式
重积分 二重积分，三重积分，n重积分，多重积分的坐标变换
偏微分方程的基本概念

\begin{array}{l}{z=f\left(y_{1}, \ldots, y_{m}\right)} \ {y_{j}=g_{j}\left(x_{1}, \ldots, x_{n}\right), j=1, \ldots, m}\end{array}
z=f(y
1
​
,…,y
m
​
)
y
j
​
=g
j
​
(x
1
​
,…,x
n
​
),j=1,…,m
​

\left[\begin{array}{c}{\frac{\partial z}{\partial x_{1}}} \ {\cdots} \ {\frac{\partial z}{\partial x_{n}}}\end{array}\right]=\left[\begin{array}{c}{\sum_{j=1}^{m} \frac{\partial z}{\partial y_{j}} \frac{\partial y_{j}}{\partial x_{1}}} \ {\cdots} \ {\sum_{j=1}^{m} \frac{\partial z}{\partial y_{j}} \frac{\partial y_{j}}{\partial x_{n}}}\end{array}\right]=\left[\begin{array}{ccc}{\frac{\partial y_{1}}{\partial x_{1}}} & {\cdots} & {\frac{\partial y_{m}}{\partial x_{1}}} \ {\cdots} & {\cdots} & {\cdots} \ {\frac{\partial y_{1}}{\partial x_{n}}} & {\cdots} & {\frac{\partial y_{m}}{\partial x_{n}}}\end{array}\right]\left[\begin{array}{c}{\frac{\partial z}{\partial y_{1}}}