机器学习数学基础-高数必备

1、导数及运算：

（1）基础公式

（2）求导法则

加法直接相加

乘法：

除法：

2、多元函数求导：

3、偏导数：

求偏导时，另一变量当常亮看待，直接求导

4、方向导数：

方向导数，就是在偏导的基础上，乘以方向的方向余弦。

5、梯度：略

6、凸函数

凸函数（一阶二阶可导），在区间（a，b）之间，如果f''(x)>0，则在区间内是凹函数，如果f''(x)<0，则在区间内是凸函数

7、多元函数求极值：略

8、hession矩阵：略

9、梯度下降求极值：略

10、最小二乘法

经验公式y=ax+b，损失函数实际值与预测值的平方差

11、拉格朗日乘子法

将条件极值问题转化为极值问题。

函数z=f(x,y)在条件g(x,y)=0下取得极值的必要条件，将z=f(x,y)转化为L(x,y)=f(x,y)+λg(x,y)，然后对L(x,y)求偏导并联合条件对x,y,λ进行求解即对f'x(x,y)+λg'x(x,y)=0，f'y(x,y)+λg'y(x,y)=0,g(x,y)=0联立求解

12、泰勒公式

泰勒公式拉格朗日余项展开

n=0时，有拉格朗日中值定理：f(x)=f(x0)+f'(ξ)(x-x0)

泰勒公式佩亚诺余项展开：