CS229 ProblemSet记录

PS0

Gradients and Hessians

知识点:

  1. 对于一个矩阵 ARnn ,如果 AT=A ,则其称为对称矩阵。
  2. 函数: f:RnR 的 gradient f(x) 为:
    这里写图片描述
  3. 函数: f:RnR 的 hessian 2f(x) 为:
    这里写图片描述

(a). f(x)=12xTAx+bTx ,其中 A 为对称矩阵, bRn 是一个vector,求 f(x) 2f(x)

(1) f(x)
12xTAx=12ni=1nj=1Aijxixj
因此对任意 k=1,...,n ,有:
xk12xTAx=12ni=1nj=1Aijxixj=xk12(ni=1,ikAikxixk+nj=1,jkAkjxkxj+Akkx2k+ni=1,iknj=1,jkAijxixj) (拆分)
=12ni=1,ikAikxi+12nj=1,jkAkjxj+Akkxk (求导)
=ni=1Akixi Aij=Aji

xkbTx=xkni=1bixi=xkbkxk=bk

总结
对于对称矩阵 A (12xTAx)=Ax
(bTx)=b

(2) f(x)
由上可知: xk12xTAx=ni=1Akixi
因此: 2xkxl12xTAx=xlni=1Akixi=Akl

(b). f(x)=g(h(x)) ,其中 g:RR h:RnR 是可导的函数,求 f(x)
f(x)=g(h(x))h(x)

(c). f(x)=g(aTx) f(x) 2f(x) ,其中 g(x) 处处可导。

(1) f(x)
对任意 i=1,...n
xif(x)=g(aTx)xiaTx=g(aTx)ai
即: f(x)=g(aTx)(aTx)=g(aTx)a

(2) 2f(x)
由上可知:
xif(x)=g(aTx)ai
对任意 j=1,...n ,有:

  • 2
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 7
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值