矩阵求导(上)——标量对矩阵的求导

参考:https://zhuanlan.zhihu.com/p/24709748
这部分内容分两篇整理,上篇讲标量对矩阵的求导,下篇讲矩阵对矩阵的求导。

  • 本文使用小写字母x表示标量,粗体小写字母 x \boldsymbol{x} x表示(列)向量,大写字母X表示矩阵。

定义:标量f对矩阵X的导数,定义为 ∂ f ∂ X = [ ∂ f ∂ X i j ] \frac{\partial f}{\partial X} = \left[\frac{\partial f }{\partial X_{ij}}\right] Xf=[Xijf],即f对X逐元素求导排成与X尺寸相同的矩阵。然而,这个定义在计算中并不好用,实用上的原因是在对较复杂的函数难以逐元素求导;哲理上的原因是逐元素求导破坏了整体性。

试想,为何要将f看做矩阵X而不是各元素 X i j X_{ij} Xij的函数呢?
答案是用矩阵运算更整洁。所以在求导时不宜拆开矩阵,而是要找一个从整体出发的算法。

为此,我们来回顾,一元微积分中的导数(标量对标量的导数)与微分有联系: d f = f ′ ( x ) d x df = f'(x)dx df=f(x)dx
多元微积分中的梯度(标量对向量的导数)也与微分有联系: d f = ∑ i = 1 n ∂ f ∂ x i d x i = ∂ f ∂ x T d x df = \sum_{i=1}^n \frac{\partial f}{\partial x_i}dx_i = \frac{\partial f}{\partial \boldsymbol{x}}^T d\boldsymbol{x} df=i=1nxifdxi=xfTdx,这里第一个等号是全微分公式,第二个等号表达了梯度与微分的联系:全微分 d f 是 n × 1 df是n\times1 dfn×1梯度向量 ∂ f ∂ x \frac{\partial f}{\partial \boldsymbol{x}} xf n × 1 n\times1 n×1微分向量 d x d\boldsymbol{x} dx的内积;

受此启发,我们将矩阵导数与微分建立联系: d f = ∑ i = 1 m ∑ j = 1 n ∂ f ∂ X i j d X i j = tr ( ∂ f ∂ X T d X ) df = \sum_{i=1}^m \sum_{j=1}^n \frac{\partial f}{\partial X_{ij}}dX_{ij} = \text{tr}\left(\frac{\partial f}{\partial X}^T dX\right) df=i=1mj=1nXijfdXij=tr(XfTdX)。其中 t r tr tr代表迹(trace)是方阵对角线元素之和,满足性质:对尺寸相同的矩阵A,B, tr ( A T B ) = ∑ i , j A i j B i j , 即 tr ( A T B ) \text{tr}(A^TB) = \sum_{i,j}A_{ij}B_{ij},即\text{tr}(A^TB) tr(ATB)=i,jAijBijtr(ATB)是矩阵A,B的内积。与梯度相似,这里第一个等号是全微分公式,第二个等号表达了矩阵导数与微分的联系:全微分df是 m × n 导 数 ∂ f ∂ X 与 m × n m\times n导数\frac{\partial f}{\partial X}与m\times n m×nXfm×n微分矩阵dX的内积。

然后来建立运算法则。回想遇到较复杂的一元函数如 f = log ⁡ ( 2 + sin ⁡ x ) e x f = \log(2+\sin x)e^{\sqrt{x}} f=log(2+sinx)ex ,我们是如何求导的呢?通常不是从定义开始求极限,而是先建立了初等函数求导和四则运算、复合等法则,再来运用这些法则。故而,我们来创立常用的矩阵微分的运算法则:

  • 加减法: d ( X ± Y ) = d X ± d Y d(X\pm Y) = dX \pm dY d(X±Y)=dX±dY
  • 矩阵乘法: d ( X Y ) = ( d X ) Y + X d Y d(XY) = (dX)Y + X dY d(XY)=(dX)Y+XdY
  • 转置: d ( X T ) = ( d X ) T d(X^T) = (dX)^T d(XT)=(dX)T
  • 迹: d tr ( X ) = tr ( d X ) d\text{tr}(X) = \text{tr}(dX) dtr(X)=tr(dX)
  • 逆: d X − 1 = − X − 1 d X X − 1 dX^{-1} = -X^{-1}dX X^{-1} dX1=X1dXX1。此式可在 X X − 1 = I XX^{-1}=I XX1=I两侧求微分来证明。
  • 行列式: d ∣ X ∣ = tr ( X # d X ) d|X| = \text{tr}(X^{\#}dX) dX=tr(X#dX) ,其中 X # X^{\#} X#表示X的伴随矩阵,在X可逆时又可以写作 d ∣ X ∣ = ∣ X ∣ tr ( X − 1 d X ) d|X|= |X|\text{tr}(X^{-1}dX) dX=Xtr(X1dX)。此式可用Laplace展开来证明,详见张贤达《矩阵分析与应用》第279页。
  • 逐元素乘法: d ( X ⊙ Y ) = d X ⊙ Y + X ⊙ d Y d(X\odot Y) = dX\odot Y + X\odot dY d(XY)=dXY+XdY ⊙ \odot 表示尺寸相同的矩阵X,Y逐元素相乘。
  • 逐元素函数: d σ ( X ) = σ ′ ( X ) ⊙ d X d\sigma(X) = \sigma'(X)\odot dX dσ(X)=σ(X)dX σ ( X ) = [ σ ( X i j ) ] \sigma(X) = \left[\sigma(X_{ij})\right] σ(X)=[σ(Xij)]是逐元素标量函数运算, σ ′ ( X ) = [ σ ′ ( X i j ) ] \sigma'(X)=[\sigma'(X_{ij})] σ(X)=[σ(Xij)]是逐元素求导数。举个例子, X = [ x 1 , x 2 ] , d sin ⁡ ( X ) = [ cos ⁡ x 1 d x 1 , cos ⁡ x 2 d x 2 ] = cos ⁡ ( X ) ⊙ d X X=[x_1, x_2], d \sin(X) = [\cos x_1 dx_1, \cos x_2 dx_2] = \cos(X)\odot dX X=[x1,x2],dsin(X)=[cosx1dx1,cosx2dx2]=cos(X)dX

我们试图利用矩阵导数与微分的联系 d f = tr ( ∂ f ∂ X T d X ) df = \text{tr}\left(\frac{\partial f}{\partial X}^T dX\right) df=tr(XfTdX),在求出左侧的微分 d f df df后,该如何写成右侧的形式并得到导数呢?这需要一些迹技巧(trace trick):

  1. 标量套上迹: a = tr ( a ) a = \text{tr}(a) a=tr(a)
  2. 转置: t r ( A T ) = t r ( A ) \mathrm{tr}(A^T) = \mathrm{tr}(A) tr(AT)=tr(A)
  3. 线性: tr ( A ± B ) = tr ( A ) ± tr ( B ) \text{tr}(A\pm B) = \text{tr}(A)\pm \text{tr}(B) tr(A±B)=tr(A)±tr(B)
  4. 矩阵乘法交换: tr ( A B ) = tr ( B A ) \text{tr}(AB) = \text{tr}(BA) tr(AB)=tr(BA),其中A与 B T B^T BT尺寸相同。两侧都等于 ∑ i , j A i j B j i \sum_{i,j}A_{ij}B_{ji} i,jAijBji
  5. 矩阵乘法/逐元素乘法交换: tr ( A T ( B ⊙ C ) ) = tr ( ( A ⊙ B ) T C ) \text{tr}(A^T(B\odot C)) = \text{tr}((A\odot B)^TC) tr(AT(BC))=tr((AB)TC),其中A, B, C尺寸相同。两侧都等于 ∑ i , j A i j B i j C i j \sum_{i,j}A_{ij}B_{ij}C_{ij} i,jAijBijCij

观察一下可以断言,若标量函数f是矩阵X经加减乘法、行列式、逆、逐元素函数等运算构成,则使用相应的运算法则对f求微分,再使用迹技巧给 d f df df套上迹并将其它项交换至 d X dX dX左侧,即能得到导数。

在建立法则的最后,来谈一谈复合:假设已求得 ∂ f ∂ Y \frac{\partial f}{\partial Y} Yf,而 Y 是 X Y是X YX的函数,如何求 ∂ f ∂ X \frac{\partial f}{\partial X} Xf呢?在微积分中有标量求导的链式法则 ∂ f ∂ x = ∂ f ∂ y ∂ y ∂ x \frac{\partial f}{\partial x} = \frac{\partial f}{\partial y} \frac{\partial y}{\partial x} xf=yfxy,但这里我们不能沿用链式法则,因为矩阵对矩阵的导数 ∂ Y ∂ X \frac{\partial Y}{\partial X} XY截至目前仍是未定义的。于是我们继续追本溯源,链式法则是从何而来?源头仍然是微分。我们直接从微分入手建立复合法则:先写出 d f = tr ( ∂ f ∂ Y T d Y ) df = \text{tr}\left(\frac{\partial f}{\partial Y}^T dY\right) df=tr(YfTdY),再将 d Y 用 d X dY用dX dYdX表示出来代入,并使用迹技巧将其他项交换至 d X dX dX左侧,即可得到 ∂ f ∂ X \frac{\partial f}{\partial X} Xf

接下来演示一些算例。特别提醒要依据已经建立的运算法则来计算,不能随意套用微积分中标量导数的结论,比如认为AX对X的导数为A,这是没有根据、意义不明的。
  • 例1 f = a T X b f = \boldsymbol{a}^T X\boldsymbol{b} f=aTXb,求 ∂ f ∂ X \frac{\partial f}{\partial X} Xf。其中 a \boldsymbol{a} a是m×1列向量,X是 m × n m\times n m×n矩阵, b \boldsymbol{b} b是n×1列向量,f是标量。

    解:先使用矩阵乘法法则求微分,这里的 a \boldsymbol{a} a, b \boldsymbol{b} b是常量, d a = 0 , d b = 0 d\boldsymbol{a} = \boldsymbol{0}, d\boldsymbol{b} = \boldsymbol{0} da=0,db=0,得到: d f = a T d X b df = \boldsymbol{a}^T dX\boldsymbol{b} df=aTdXb ,再套上迹并做矩阵乘法交换: d f = tr ( a T d X b ) = tr ( b a T d X ) df = \text{tr}(\boldsymbol{a}^TdX\boldsymbol{b})= \text{tr}(\boldsymbol{b}\boldsymbol{a}^TdX) df=tr(aTdXb)=tr(baTdX),注意这里我们根据 tr ( A B ) = tr ( B A ) 交 换 了 a T d X 与 b \text{tr}(AB) = \text{tr}(BA)交换了\boldsymbol{a}^TdX与\boldsymbol{b} tr(AB)=tr(BA)aTdXb。对照导数与微分的联系 d f = tr ( ∂ f ∂ X T d X ) df = \text{tr}\left(\frac{\partial f}{\partial X}^T dX\right) df=tr(XfTdX),得到 ∂ f ∂ X = ( b a T ) T = a b T \frac{\partial f}{\partial X} = (\boldsymbol{b}\boldsymbol{a}^T)^T= \boldsymbol{a}\boldsymbol{b}^T Xf=(baT)T=abT

  • 注意:这里不能用 ∂ f ∂ X = a T ∂ X ∂ X b = ? \frac{\partial f}{\partial X} =\boldsymbol{a}^T \frac{\partial X}{\partial X}\boldsymbol{b}=? Xf=aTXXb=?,导数与乘常数矩阵的交换是不合法则的运算(而微分是合法的)。有些资料在计算矩阵导数时,会略过求微分这一步,这是逻辑上解释不通的。

  • 例2 f = a T exp ⁡ ( X b ) f = \boldsymbol{a}^T \exp(X\boldsymbol{b}) f=aTexp(Xb),求 ∂ f ∂ X \frac{\partial f}{\partial X} Xf。其中 a \boldsymbol{a} a是m×1列向量,X是 m × n m\times n m×n矩阵, b \boldsymbol{b} b是n×1列向量,exp表示逐元素求指数, f f f是标量。
    解:先使用矩阵乘法、逐元素函数法则求微分: d f = a T ( exp ⁡ ( X b ) ⊙ ( d X b ) ) df = \boldsymbol{a}^T(\exp(X\boldsymbol{b})\odot (dX\boldsymbol{b})) df=aT(exp(Xb)(dXb)),再套上迹并做矩阵乘法/逐元素乘法交换、矩阵乘法交换: d f = tr ( a T ( exp ⁡ ( X b ) ⊙ ( d X b ) ) ) = tr ( ( a ⊙ exp ⁡ ( X b ) ) T d X b ) = tr ( b ( a ⊙ exp ⁡ ( X b ) ) T d X ) df = \text{tr}( \boldsymbol{a}^T(\exp(X\boldsymbol{b})\odot (dX\boldsymbol{b}))) =\text{tr}((\boldsymbol{a}\odot \exp(X\boldsymbol{b}))^TdX \boldsymbol{b}) = \text{tr}(\boldsymbol{b}(\boldsymbol{a}\odot \exp(X\boldsymbol{b}))^TdX) df=tr(aT(exp(Xb)(dXb)))=tr((aexp(Xb))TdXb)=tr(b(aexp(Xb))TdX),注意这里我们先根据 tr ( A T ( B ⊙ C ) ) = tr ( ( A ⊙ B ) T C ) \text{tr}(A^T(B\odot C)) = \text{tr}((A\odot B)^TC) tr(AT(BC))=tr((AB)TC)交换了 a 、 exp ⁡ ( X b ) 与 d X b \boldsymbol{a}、\exp(X\boldsymbol{b})与dX\boldsymbol{b} aexp(Xb)dXb,再根据 tr ( A B ) = tr ( B A ) \text{tr}(AB) = \text{tr}(BA) tr(AB)=tr(BA)交换了 ( a ⊙ exp ⁡ ( X b ) ) T d X (\boldsymbol{a}\odot \exp(X\boldsymbol{b}))^TdX (aexp(Xb))TdX b \boldsymbol{b} b。对照导数与微分的联系 d f = tr ( ∂ f ∂ X T d X ) df = \text{tr}\left(\frac{\partial f}{\partial X}^T dX\right) df=tr(XfTdX),得到 ∂ f ∂ X = ( b ( a ⊙ exp ⁡ ( X b ) ) T ) T = ( a ⊙ exp ⁡ ( X b ) ) b T \frac{\partial f}{\partial X} = (\boldsymbol{b}(\boldsymbol{a}\odot \exp(X\boldsymbol{b}))^T)^T= (\boldsymbol{a}\odot \exp(X\boldsymbol{b}))\boldsymbol{b}^T Xf=(b(aexp(Xb))T)T=(aexp(Xb))bT

  • 例3.【线性回归】: l = ∥ X w − y ∥ 2 l = \|X\boldsymbol{w}- \boldsymbol{y}\|^2 l=Xwy2, 求 w \boldsymbol{w} w的最小二乘估计,即求 ∂ l ∂ w \frac{\partial l}{\partial \boldsymbol{w}} wl的零点。其中 y \boldsymbol{y} y m × 1 m×1 m×1列向量,X是 m × n m\times n m×n矩阵, w \boldsymbol{w} w是n×1列向量, l l l是标量。

    解:严格来说这是标量对向量的导数,不过可以把向量看做矩阵的特例。
    先将向量模平方改写成向量与自身的内积: l = ( X w − y ) T ( X w − y ) l = (X\boldsymbol{w}- \boldsymbol{y})^T(X\boldsymbol{w}- \boldsymbol{y}) l=(Xwy)T(Xwy),求微分,使用矩阵乘法、转置等法则: d l = ( X d w ) T ( X w − y ) + ( X w − y ) T ( X d w ) = 2 ( X w − y ) T X d w dl = (Xd\boldsymbol{w})^T(X\boldsymbol{w}-\boldsymbol{y})+(X\boldsymbol{w}-\boldsymbol{y})^T(Xd\boldsymbol{w}) = 2(X\boldsymbol{w}-\boldsymbol{y})^TXd\boldsymbol{w} dl=(Xdw)T(Xwy)+(Xwy)T(Xdw)=2(Xwy)TXdw
    对照导数与微分的联系 d l = ∂ l ∂ w T d w , 得 到 ∂ l ∂ w = ( 2 ( X w − y ) T X ) T = 2 X T ( X w − y ) dl = \frac{\partial l}{\partial \boldsymbol{w}}^Td\boldsymbol{w},得到\frac{\partial l}{\partial \boldsymbol{w}}= (2(X\boldsymbol{w}-\boldsymbol{y})^TX)^T = 2X^T(X\boldsymbol{w}-\boldsymbol{y}) dl=wlTdwwl=(2(Xwy)TX)T=2XT(Xwy) ∂ l ∂ w 的 零 点 即 w 的 最 小 二 乘 估 计 为 w = ( X T X ) − 1 X T y \frac{\partial l}{\partial \boldsymbol{w}}的零点即\boldsymbol{w}的最小二乘估计为\boldsymbol{w} = (X^TX)^{-1}X^T\boldsymbol{y} wlww=(XTX)1XTy

  • 例4.【方差的最大似然估计】:样本 x 1 , … , x n ∼ N ( μ , Σ ) \boldsymbol{x}_1,\dots, \boldsymbol{x}_n\sim N(\boldsymbol{\mu}, \Sigma) x1,,xnN(μ,Σ),求方差 Σ \Sigma Σ的最大似然估计。写成数学式是: l = log ⁡ ∣ Σ ∣ + 1 n ∑ i = 1 n ( x i − x ˉ ) T Σ − 1 ( x i − x ˉ ) l = \log|\Sigma|+\frac{1}{n}\sum_{i=1}^n(\boldsymbol{x}_i-\boldsymbol{\bar{x}})^T\Sigma^{-1}(\boldsymbol{x}_i-\boldsymbol{\bar{x}}) l=logΣ+n1i=1n(xixˉ)TΣ1(xixˉ),求 ∂ l ∂ Σ \frac{\partial l }{\partial \Sigma} Σl的零点。其中 x i 是 m × 1 \boldsymbol{x}_i是m\times 1 xim×1列向量, x ‾ = 1 n ∑ i = 1 n x i \overline{\boldsymbol{x}}=\frac{1}{n}\sum_{i=1}^n \boldsymbol{x}_i x=n1i=1nxi是样本均值, Σ 是 m × m 对 称 正 定 矩 阵 , l 是 标 量 \Sigma是m\times m对称正定矩阵,l是标量 Σm×ml.

    解:首先求微分,使用矩阵乘法、行列式、逆等运算法则,
    第一项是 d log ⁡ ∣ Σ ∣ = ∣ Σ ∣ − 1 d ∣ Σ ∣ = tr ( Σ − 1 d Σ ) d\log|\Sigma| = |\Sigma|^{-1}d|\Sigma| = \text{tr}(\Sigma^{-1}d\Sigma) dlogΣ=Σ1dΣ=tr(Σ1dΣ)
    第二项是 1 n ∑ i = 1 n ( x i − x ˉ ) T d Σ − 1 ( x i − x ˉ ) = − 1 n ∑ i = 1 n ( x i − x ˉ ) T Σ − 1 d Σ Σ − 1 ( x i − x ˉ ) \frac{1}{n}\sum_{i=1}^n(\boldsymbol{x}_i-\boldsymbol{\bar{x}})^Td\Sigma^{-1}(\boldsymbol{x}_i-\boldsymbol{\bar{x}}) = -\frac{1}{n}\sum_{i=1}^n(\boldsymbol{x}_i-\boldsymbol{\bar{x}})^T\Sigma^{-1}d\Sigma\Sigma^{-1}(\boldsymbol{x}_i-\boldsymbol{\bar{x}}) n1i=1n(xixˉ)TdΣ1(xixˉ)=n1i=1n(xixˉ)TΣ1dΣΣ1(xixˉ)
    再给第二项套上迹做交换:
    tr ( 1 n ∑ i = 1 n ( x i − x ˉ ) T Σ − 1 d Σ Σ − 1 ( x i − x ˉ ) ) = 1 n ∑ i = 1 n tr ( ( x i − x ˉ ) T Σ − 1 d Σ Σ − 1 ( x i − x ˉ ) ) = 1 n ∑ i = 1 n tr ( Σ − 1 ( x i − x ˉ ) ( x i − x ˉ ) T Σ − 1 d Σ ) = tr ( Σ − 1 S Σ − 1 d Σ ) \text{tr}\left(\frac{1}{n}\sum_{i=1}^n(\boldsymbol{x}_i-\boldsymbol{\bar{x}})^T\Sigma^{-1}d\Sigma\Sigma^{-1}(\boldsymbol{x}_i-\boldsymbol{\bar{x}})\right) = \frac{1}{n}\sum_{i=1}^n\text{tr}\left((\boldsymbol{x}_i-\boldsymbol{\bar{x}})^T\Sigma^{-1}d\Sigma\Sigma^{-1}(\boldsymbol{x}_i-\boldsymbol{\bar{x}})\right) = \frac{1}{n}\sum_{i=1}^n\text{tr}\left(\Sigma^{-1}(\boldsymbol{x}_i-\boldsymbol{\bar{x}})(\boldsymbol{x}_i-\boldsymbol{\bar{x}})^T\Sigma^{-1}d\Sigma\right)=\text{tr}(\Sigma^{-1}S\Sigma^{-1}d\Sigma) tr(n1i=1n(xixˉ)TΣ1dΣΣ1(xixˉ))=n1i=1ntr((xixˉ)TΣ1dΣΣ1(xixˉ))=n1i=1ntr(Σ1(xixˉ)(xixˉ)TΣ1dΣ)=tr(Σ1SΣ1dΣ)
    其中先交换迹与求和,然后将 Σ − 1 ( x i − x ˉ ) \Sigma^{-1}(\boldsymbol{x}_i-\boldsymbol{\bar{x}}) Σ1(xixˉ)交换到左边,最后再交换迹与求和,
    并定义 S = 1 n ∑ i = 1 n ( x i − x ˉ ) ( x i − x ˉ ) T S = \frac{1}{n}\sum_{i=1}^n(\boldsymbol{x}_i-\boldsymbol{\bar{x}})(\boldsymbol{x}_i-\boldsymbol{\bar{x}})^T S=n1i=1n(xixˉ)(xixˉ)T为样本方差矩阵。得到 d l = tr ( ( Σ − 1 − Σ − 1 S Σ − 1 ) d Σ ) dl = \text{tr}\left(\left(\Sigma^{-1}-\Sigma^{-1}S\Sigma^{-1}\right)d\Sigma\right) dl=tr((Σ1Σ1SΣ1)dΣ)
    对照导数与微分的联系,有 ∂ l ∂ Σ = ( Σ − 1 − Σ − 1 S Σ − 1 ) T \frac{\partial l }{\partial \Sigma}=(\Sigma^{-1}-\Sigma^{-1}S\Sigma^{-1})^T Σl=(Σ1Σ1SΣ1)T,其零点即 Σ \Sigma Σ的最大似然估计为 Σ = S \Sigma = S Σ=S

  • 例5【多元logistic回归】: l = − y T log ⁡ softmax ( W x ) , 求 ∂ l ∂ W l = -\boldsymbol{y}^T\log\text{softmax}(W\boldsymbol{x}),求\frac{\partial l}{\partial W} l=yTlogsoftmax(Wx)Wl。其中 y \boldsymbol{y} y是除一个元素为1外其它元素为0的m×1列向量, W 是 m × n W是m\times n Wm×n矩阵, x \boldsymbol{x} x是n×1列向量, l l l是标量; softmax ( a ) \text{softmax}(\boldsymbol{a}) softmax(a) = exp ⁡ ( a ) 1 T exp ⁡ ( a ) \frac{\exp(\boldsymbol{a})}{\boldsymbol{1}^T\exp(\boldsymbol{a})} 1Texp(a)exp(a),其中 exp ⁡ ( a ) \exp(\boldsymbol{a}) exp(a)表示逐元素求指数, 1 \boldsymbol{1} 1代表全1向量。

    解:首先将softmax函数代入并写成
    l = − y T ( log ⁡ ( exp ⁡ ( W x ) ) − 1 log ⁡ ( 1 T exp ⁡ ( W x ) ) ) l = -\boldsymbol{y}^T \left(\log (\exp(W\boldsymbol{x}))-\boldsymbol{1}\log(\boldsymbol{1}^T\exp(W\boldsymbol{x}))\right) l=yT(log(exp(Wx))1log(1Texp(Wx))) = − y T W x + log ⁡ ( 1 T exp ⁡ ( W x ) ) -\boldsymbol{y}^TW\boldsymbol{x} + \log(\boldsymbol{1}^T\exp(W\boldsymbol{x})) yTWx+log(1Texp(Wx)),这里要注意逐元素log满足等式 log ⁡ ( u / c ) = log ⁡ ( u ) − 1 log ⁡ ( c ) \log(\boldsymbol{u}/c) = \log(\boldsymbol{u}) - \boldsymbol{1}\log(c) log(u/c)=log(u)1log(c),以及 y 满 足 y T 1 = 1 \boldsymbol{y}满足\boldsymbol{y}^T \boldsymbol{1} = 1 yyT1=1
    求微分,使用矩阵乘法、逐元素函数等法则: d l = − y T d W x + 1 T ( exp ⁡ ( W x ) ⊙ ( d W x ) ) 1 T exp ⁡ ( W x ) dl =- \boldsymbol{y}^TdW\boldsymbol{x}+\frac{\boldsymbol{1}^T\left(\exp(W\boldsymbol{x})\odot(dW\boldsymbol{x})\right)}{\boldsymbol{1}^T\exp(W\boldsymbol{x})} dl=yTdWx+1Texp(Wx)1T(exp(Wx)(dWx))。再套上迹并做交换,注意可化简 1 T ( exp ⁡ ( W x ) ⊙ ( d W x ) ) = exp ⁡ ( W x ) T d W x \boldsymbol{1}^T\left(\exp(W\boldsymbol{x})\odot(dW\boldsymbol{x})\right) = \exp(W\boldsymbol{x})^TdW\boldsymbol{x} 1T(exp(Wx)(dWx))=exp(Wx)TdWx
    这是根据等式 1 T ( u ⊙ v ) = u T v \boldsymbol{1}^T (\boldsymbol{u}\odot \boldsymbol{v}) = \boldsymbol{u}^T \boldsymbol{v} 1T(uv)=uTv,故 d l = tr ( − y T d W x + exp ⁡ ( W x ) T d W x 1 T exp ⁡ ( W x ) ) = tr ( x ( softmax ( W x ) − y ) T d W ) dl = \text{tr}\left(-\boldsymbol{y}^TdW\boldsymbol{x}+\frac{\exp(W\boldsymbol{x})^TdW\boldsymbol{x}}{\boldsymbol{1}^T\exp(W\boldsymbol{x})}\right) =\text{tr}(\boldsymbol{x}(\text{softmax}(W\boldsymbol{x})-\boldsymbol{y})^TdW) dl=tr(yTdWx+1Texp(Wx)exp(Wx)TdWx)=tr(x(softmax(Wx)y)TdW)
    对照导数与微分的联系,得到 ∂ l ∂ W = ( softmax ( W x ) − y ) x T \frac{\partial l}{\partial W}= (\text{softmax}(W\boldsymbol{x})-\boldsymbol{y})\boldsymbol{x}^T Wl=(softmax(Wx)y)xT

    另解:定义 a = W x \boldsymbol{a} = W\boldsymbol{x} a=Wx,则 l = − y T log ⁡ softmax ( a ) , 先 如 上 求 出 ∂ l ∂ a = softmax ( a ) − y l = -\boldsymbol{y}^T\log\text{softmax}(\boldsymbol{a}) ,先如上求出\frac{\partial l}{\partial \boldsymbol{a}} = \text{softmax}(\boldsymbol{a})-\boldsymbol{y} l=yTlogsoftmax(a)al=softmax(a)y
    再利用复合法则: d l = tr ( ∂ l ∂ a T d a ) = tr ( ∂ l ∂ a T d W x ) = tr ( x ∂ l ∂ a T d W ) , 得 到 ∂ l ∂ W = ∂ l ∂ a x T dl = \text{tr}\left(\frac{\partial l}{\partial \boldsymbol{a}}^Td\boldsymbol{a}\right) = \text{tr}\left(\frac{\partial l}{\partial \boldsymbol{a}}^TdW \boldsymbol{x}\right) = \text{tr}\left(\boldsymbol{x}\frac{\partial l}{\partial \boldsymbol{a}}^TdW\right),得到\frac{\partial l}{\partial W}= \frac{\partial l}{\partial\boldsymbol{a}}\boldsymbol{x}^T dl=tr(alTda)=tr(alTdWx)=tr(xalTdW)Wl=alxT

  • 最后一例留给经典的神经网络。神经网络的求导术是学术史上的重要成果,还有个专门的名字叫做BP算法, 我相信如今很多人在初次推导BP算法时也会颇费一番脑筋,事实上使用矩阵求导术来推导并不复杂。
    为简化起见,我们推导二层神经网络的BP算法。

  • 例6.【二层神经网络】: l = − y T log ⁡ softmax ( W 2 σ ( W 1 x ) ) , 求 ∂ l ∂ W 1 和 ∂ l ∂ W 2 l = -\boldsymbol{y}^T\log\text{softmax}(W_2\sigma(W_1\boldsymbol{x})),求\frac{\partial l}{\partial W_1}和\frac{\partial l}{\partial W_2} l=yTlogsoftmax(W2σ(W1x))W1lW2l。其中 y \boldsymbol{y} y是除一个元素为1外其它元素为0的的 m × 1 m×1 m×1列向量, W 2 是 m × p W_2是m\times p W2m×p矩阵, W 1 是 p × n W_1是p\times n W1p×n矩阵, x \boldsymbol{x} x是n×1列向量, l l l是标量; softmax ( a ) = exp ⁡ ( a ) 1 T exp ⁡ ( a ) \text{softmax}(\boldsymbol{a}) = \frac{\exp(\boldsymbol{a})}{\boldsymbol{1}^T\exp(\boldsymbol{a})} softmax(a)=1Texp(a)exp(a),同例3, σ ( ⋅ ) \sigma(\cdot) σ()是逐元素 s i g m o i d 函 数 σ ( a ) = 1 1 + exp ⁡ ( − a ) sigmoid函数\sigma(a) = \frac{1}{1+\exp(-a)} sigmoidσ(a)=1+exp(a)1

    解:定义 a 1 = W 1 x , h 1 = σ ( a 1 ) , a 2 = W 2 h 1 , 则 l = − y T log ⁡ softmax ( a 2 ) \boldsymbol{a}_1=W_1\boldsymbol{x},\boldsymbol{h}_1 = \sigma(\boldsymbol{a}_1),\boldsymbol{a}_2 = W_2 \boldsymbol{h}_1,则l =-\boldsymbol{y}^T\log\text{softmax}(\boldsymbol{a}_2) a1=W1xh1=σ(a1)a2=W2h1l=yTlogsoftmax(a2)
    在前例中已求出 ∂ l ∂ a 2 = softmax ( a 2 ) − y \frac{\partial l}{\partial \boldsymbol{a}_2} = \text{softmax}(\boldsymbol{a}_2)-\boldsymbol{y} a2l=softmax(a2)y 。使用复合法则,注意此处 h 1 , W 2 \boldsymbol{h}_1, W_2 h1,W2都是变量:
    d l = tr ( ∂ l ∂ a 2 T d a 2 ) = tr ( ∂ l ∂ a 2 T d W 2 h 1 ) + tr ( ∂ l ∂ a 2 T W 2 d h 1 ) dl = \text{tr}\left(\frac{\partial l}{\partial \boldsymbol{a}_2}^Td\boldsymbol{a}_2\right) = \text{tr}\left(\frac{\partial l}{\partial \boldsymbol{a}_2}^TdW_2 \boldsymbol{h}_1\right) + \text{tr}\left(\frac{\partial l}{\partial \boldsymbol{a}_2}^TW_2 d\boldsymbol{h}_1\right) dl=tr(a2lTda2)=tr(a2lTdW2h1)+tr(a2lTW2dh1)
    使用矩阵乘法交换的迹技巧从第一项得到 ∂ l ∂ W 2 = ∂ l ∂ a 2 h 1 T \frac{\partial l}{\partial W_2}= \frac{\partial l}{\partial\boldsymbol{a}_2}\boldsymbol{h}_1^T W2l=a2lh1T,从第二项得到 ∂ l ∂ h 1 = W 2 T ∂ l ∂ a 2 \frac{\partial l}{\partial \boldsymbol{h}_1}= W_2^T\frac{\partial l}{\partial\boldsymbol{a}_2} h1l=W2Ta2l
    接 下 来 求 ∂ l ∂ a 1 接下来求\frac{\partial l}{\partial \boldsymbol{a}_1} a1l,继续使用复合法则,并利用矩阵乘法和逐元素乘法交换的迹技巧:
    tr ( ∂ l ∂ h 1 T d h 1 ) = tr ( ∂ l ∂ h 1 T ( σ ′ ( a 1 ) ⊙ d a 1 ) ) = tr ( ( ∂ l ∂ h 1 ⊙ σ ′ ( a 1 ) ) T d a 1 ) \text{tr}\left(\frac{\partial l}{\partial\boldsymbol{h}_1}^Td\boldsymbol{h}_1\right) = \text{tr}\left(\frac{\partial l}{\partial\boldsymbol{h}_1}^T(\sigma'(\boldsymbol{a}_1)\odot d\boldsymbol{a}_1)\right) = \text{tr}\left(\left(\frac{\partial l}{\partial\boldsymbol{h}_1}\odot \sigma'(\boldsymbol{a}_1)\right)^Td\boldsymbol{a}_1\right) tr(h1lTdh1)=tr(h1lT(σ(a1)da1))=tr((h1lσ(a1))Tda1),得到 ∂ l ∂ a 1 = ∂ l ∂ h 1 ⊙ σ ′ ( a 1 ) \frac{\partial l}{\partial \boldsymbol{a}_1}= \frac{\partial l}{\partial\boldsymbol{h}_1}\odot\sigma'(\boldsymbol{a}_1) a1l=h1lσ(a1).
    为 求 ∂ l ∂ W 1 为求\frac{\partial l}{\partial W_1} W1l,再用一次复合法则: tr ( ∂ l ∂ a 1 T d a 1 ) = tr ( ∂ l ∂ a 1 T d W 1 x ) = tr ( x ∂ l ∂ a 1 T d W 1 ) , 得 到 ∂ l ∂ W 1 = ∂ l ∂ a 1 x T \text{tr}\left(\frac{\partial l}{\partial\boldsymbol{a}_1}^Td\boldsymbol{a}_1\right) = \text{tr}\left(\frac{\partial l}{\partial\boldsymbol{a}_1}^TdW_1\boldsymbol{x}\right) = \text{tr}\left(\boldsymbol{x}\frac{\partial l}{\partial\boldsymbol{a}_1}^TdW_1\right),得到\frac{\partial l}{\partial W_1}= \frac{\partial l}{\partial\boldsymbol{a}_1}\boldsymbol{x}^T tr(a1lTda1)=tr(a1lTdW1x)=tr(xa1lTdW1)W1l=a1lxT

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值