最优化求导常用公式技巧

最新推荐文章于 2023-11-26 01:40:39 发布

Jie Qiao

最新推荐文章于 2023-11-26 01:40:39 发布

阅读量2.6k

点赞数 3

分类专栏：算法文章标签：优化

本文链接：https://blog.csdn.net/a358463121/article/details/51069404

版权

算法专栏收录该内容

13 篇文章 1 订阅

订阅专栏

要用到的几个符号与结论

\nabla θ J = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial J \partial θ 0 . . \partial J \partial θ n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ . . . . (1)

$\nabla _\theta J=\left[ {\begin{array}{*{20}{c}} {\frac{{\partial J}}{{\partial {\theta _0}}}}\\ .\\ .\\ {\frac{{\partial J}}{{\partial {\theta _n}}}} \end{array}} \right]....(1)$

若存在一个映射 $f(A)=a$ 让m*n的矩阵A映射到1个数a，我们定义：

\nabla A f (A) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial f \partial A 11 . . \partial f \partial A m 1 . . . . \partial f \partial A 1 n . . \partial f \partial A m n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ . . . . (2)

$\nabla _A f(A)= \left[ {\begin{array}{*{20}{c}} {\frac{{\partial f}}{{\partial {A_{11}}}}}&.&.&{\frac{{\partial f}}{{\partial {A_{1n}}}}}\\ .&{}&{}&.\\ .&{}&{}&.\\ {\frac{{\partial f}}{{\partial {A_{m1}}}}}&.&.&{\frac{{\partial f}}{{\partial {A_{mn}}}}} \end{array}} \right] ....(2)$
其中A为m*n的矩阵。

t r A B = t r B A . . . . (3)

$trAB=trBA....(3)$

t r A B C = t r C A B = t r B C A . . . . (4)

$trABC=trCAB=trBCA....(4)$

t r A = t r A T . . . . (5)

$trA=trA^T....(5)$

t r (a) = a . . . . (6)

$tr(a)=a....(6)$

\nabla A t r A B = B T . . . . (7)

$\nabla _A trAB=B^T....(7)$

\nabla A t r A B A T C = C A B + C T A B T . . . . (8)

$\nabla _A trABA^TC=CAB+C^TAB^T....(8)$

梯度下降法

θ = θ - α \nabla θ J

$\theta =\theta -\alpha \nabla _\theta J$

例子

我们考虑对以下函数求偏导：

J (u) = u T S u + λ 1 (1 - u T u)

$J(u)=u^TSu+\lambda _1(1-u^Tu)$

\partial J \partial u = \nabla u J = \nabla u t r (J) (公 式 6) = \nabla u t r (u T S u + λ 1 (1 - u T u)) = \nabla u t r (u T S u) - λ 1 \nabla u t r (u T u)

$\eqalign{ & \frac{{\partial J}}{{\partial u}} = {\nabla _u}J \cr & = {\nabla _u}tr(J)(公式6) \cr & = {\nabla _u}tr({u^T}Su + {\lambda _1}(1 - {u^T}u)) \cr & = {\nabla _u}tr({u^T}Su) - \lambda _1{\nabla _u}tr({u^T}u) \cr}$
其中：

\nabla u t r (u T S u) = \nabla u t r (u u T S) (公 式 4) = \nabla u t r (u E u T S) = S u + S T u (公 式 8) = 2 S u

$\eqalign{ & {\nabla _u}tr({u^T}Su) \cr & = {\nabla _u}tr(u{u^T}S)(公式4) \cr & = {\nabla _u}tr(uE{u^T}S) \cr & = Su + {S^T}u(公式8) \cr & = 2Su \cr}$
由于在这例子里

S=ST $S=S^T$ 所以合并为一项，其中E是单位矩阵。

\nabla u t r (u T u) = \nabla u t r (u u T) (公 式 3) = \nabla u t r (u E u T E) = u + u (公 式 8) = 2 u

$\eqalign{ & {\nabla _u}tr({u^T}u) \cr & = {\nabla _u}tr(u{u^T})(公式3) \cr & = {\nabla _u}tr(uE{u^T}E) \cr & = u + u(公式8) \cr & = 2u \cr}$
所以

\partial J \partial u = 2 S u - 2 λ 1 u

$\frac{{\partial J}}{{\partial u}} = 2S{\text{u}} - 2{\lambda _1}u$

作为分享主义者(sharism)，本人所有互联网发布的图文均遵从CC版权，转载请保留作者信息并注明作者a358463121专栏:http://blog.csdn.net/a358463121，如果涉及源代码请注明GitHub地址：https://github.com/358463121/。商业使用请联系作者。