1、导数及运算:
(1)基础公式
(2)求导法则
加法直接相加
乘法:
除法:
2、多元函数求导:
3、偏导数:
求偏导时,另一变量当常亮看待,直接求导
4、方向导数:
方向导数,就是在偏导的基础上,乘以方向的方向余弦。
5、梯度:略
6、凸函数
凸函数(一阶二阶可导),在区间(a,b)之间,如果f''(x)>0,则在区间内是凹函数,如果f''(x)<0,则在区间内是凸函数
7、多元函数求极值:略
8、hession矩阵:略
9、梯度下降求极值:略
10、最小二乘法
经验公式y=ax+b,损失函数实际值与预测值的平方差
11、拉格朗日乘子法
将条件极值问题转化为极值问题。
函数z=f(x,y)在条件g(x,y)=0下取得极值的必要条件,将z=f(x,y)转化为L(x,y)=f(x,y)+λg(x,y),然后对L(x,y)求偏导并联合条件对x,y,λ进行求解即对f'x(x,y)+λg'x(x,y)=0,f'y(x,y)+λg'y(x,y)=0,g(x,y)=0联立求解
12、泰勒公式
泰勒公式拉格朗日余项展开
n=0时,有拉格朗日中值定理:f(x)=f(x0)+f'(ξ)(x-x0)
泰勒公式佩亚诺余项展开: