矩阵微分(matrix derivatives)

关于矩阵求导,得到的导数则是矩阵形式;关于矢量求导,得到的导数则是矢量形式;关于标量求导,得到的仍是标量形式。也即关于谁求导,得到的导数形式便和谁的维度信息一致。

fx = f(x)
grad = np.zeros_like(x)

共存在 6 种形式的矩阵导数:



1. 关于向量的导数

  • 标量对向量求导,

    xTax=aTxx=a

    简单证明如下:

xTax=[(α1x1+α2x2+)xi]=a

2. 关于矩阵的导数

  • 标量关于矩阵的导数:

    aTXbX=[ijaibjxijxji]=abT

    aTXTbX=[ijaibjxjixji]=baT

3. 关于标量的求导

  • 矩阵关于标量的求导:

    XXij=Jij

    Jij 指的是在 (i, j) 处元素为 1,其他处为 0 的矩阵;

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lanchunhui/article/details/55504653
个人分类: 矩阵分析
上一篇windows 10 常用快捷键
下一篇深度学习实践指南(六)—— ReLU(前向和后向过程)
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭