概述
最优化问题中很多算法,包括非线性最优化、非线性等式等都需要计算导数。简单函数可以直接进行人工计算或者编码实现,对于复杂的情况,需要寻找一些方法进行计算或者近似。本节主要内容包括
1. 常见导数求解方法
2. 有限差分方法
3. 自动微分方法
4. 总结
常见导数求解方法
有限差分方法(Finite Differencing)
根据导数的定义,导数表示函数在给定点x处,给定无限小的涉动后函数值的改动。因此我们可以根据定义,在给定点x处给定一个无限小的抖动,看函数值的变化率,即
∂f∂xi≈f(x+ϵei)−f(x−ϵei)2ϵ
自动微分方法
基本思路就是将复杂的函数分解为基本函数以及基本运算,然后通过构建有向无环图进行求解。常见函数导数求解方法
另外就是导数运算法则,例如函数加、减、乘除以及链式法则的应用。
符号微分法
有限微分近似算法
基础思想是泰勒定理和Lipschitz连续。介绍如下:
1. 泰勒公式:
f(x+p)=f(x)+∇f(x)Tp+12pT∇2f(x+tp)p
2. Lipschitz continuous: 对任意的x和x2
dY(f(x1,x2))≤KdX(x1,x2)
参考wiki
有限微分近似算法主要是基于导数定义,在给定点x处给定一个无限小的改动,看函数的变化。
前向微分
定义:
∂f(x)∂xi≈f(x+ϵei)−f(x)ϵ
对于n维的向量,需要计算量为(n+1)
方法推导
根据泰勒公式:
f(x+p)=f(x)+∇f(x)Tp+12pT∇2f(x+tp)p
假设 ||∇2f(x)||≤L ,L在一定范围内,则有
||f(x+p)−f(x)−∇f(x)Tp||≤(L/2)||p|