Ⅰ. Taylor expansion
对于光滑函数可以进行泰勒展开。
任意函数只要可以求导,放大看它的局部必是高阶的多项式求和的形式,根据要求的拟合误差决定需要的阶数。
One-variable case
f(x+δ)=f(x)+f′(x)δ+12f′′(x)δ2+…
Multi-variable case
def. Hessian Matrix: ∇2f(x)
f(x+δ)=f(x)+∇Tf(x)δ+12δT∇2f(x)δ+…
Linear approximation of f(x) at x
当 δ→0 ,f(x)是关于 δ 的线性函数
f(x+δ)≈f(x)+∇Tf(x)δ
Quadratic approximation of f(x) at x
当 δ→0 ,f(x)是关于 δ 的二次函数
f(x+δ)≈f(x)+∇Tf(x)δ+12δT∇2f(x)δ
Ⅱ. Optimazation
求 minx∈Rn×1f(x)
原始办法
得到两个方程,但对于复杂函数而言求导后解方程极其复杂。
∇f(x)=⎡⎣⎢⎢⎢∂f(x)∂x1∂f(x)∂x2⎤⎦⎥⎥⎥=0A.Cauchy Method
不通过解方程找到方程的解。
随便找一个 xk ,然后使其移动得到更小的函数值,interatively,直到 ∇f(x)→0 .
取 δ=−∇f(xk) , xk&