PS0
Gradients and Hessians
知识点:
- 对于一个矩阵 A∈Rn∗n ,如果 AT=A ,则其称为对称矩阵。
- 函数: f:Rn→R 的 gradient ∇f(x) 为:
- 函数: f:Rn→R 的 hessian ∇2f(x) 为:
(a). f(x)=12xTAx+bTx ,其中 A 为对称矩阵,
(1)求 ∇f(x) :
12xTAx=12∑ni=1∑nj=1Aijxixj
因此对任意 k=1,...,n ,有:
∂∂xk12xTAx=12∑ni=1∑nj=1Aijxixj=∂∂xk12(∑ni=1,i≠kAikxixk+∑nj=1,j≠kAkjxkxj+Akkx2k+∑ni=1,i≠k∑nj=1,j≠kAijxixj) (拆分)
=12∑ni=1,i≠kAikxi+12∑nj=1,j≠kAkjxj+Akkxk (求导)
=∑ni=1Akixi ( Aij=Aji )
∂∂xkbTx=∂∂xk∑ni=1bixi=∂∂xkbkxk=bk
总结:
对于对称矩阵 A ,∇(12xTAx)=Ax 。
∇(bTx)=b 。
(2)求 ∇f(x) :
由上可知: ∂∂xk12xTAx=∑ni=1Akixi
因此: ∂2∂xkxl12xTAx=∂∂xl∑ni=1Akixi=Akl
(b). f(x)=g(h(x)) ,其中 g:R→R 与 h:Rn→R 是可导的函数,求 ∇f(x) 。
∇f(x)=g′(h(x))∇h(x)
(c).求 f(x)=g(aTx) 的 ∇f(x) 和 ∇2f(x) ,其中 g(x) 处处可导。
(1)求 ∇f(x) :
对任意 i=1,...n :
∂∂xif(x)=g′(aTx)∂∂xiaTx=g′(aTx)ai
即: ∇f(x)=g′(aTx)∇(aTx)=g′(aTx)a
(2)求 ∇2f(x) :
由上可知:
∂∂xif(x)=g′(aTx)ai
对任意 j=1,...n ,有: