矩阵向量求导一机器学习

明朝百晓生

于 2020-06-23 17:49:23 发布

阅读量127

点赞数

4AM_明朝百晓生

本文链接：https://blog.csdn.net/chengxf2/article/details/106927389

版权

前言：

主要参考 https://www.cnblogs.com/pinard/p/10750718.html。

向量概念
求导类型
求导规则

一向量概念

列向量是一个 n×1 的矩阵，即矩阵由一个含有n个元素的列所组成：

列向量的转置是一个行向量

sx: 标量

x: n维向列量

X: m*n矩阵

sy: 标量

y: m维向列量

Y: m*n 矩阵

二求导的类型

	sy	y	Y
sx	$\frac{\partial sy}{\partial sx}$	$\frac{\partial y}{\partial sx}$	$\frac{\partial Y}{\partial sx}$
x	$\frac{\partial sy}{\partial x}$	$\frac{\partial y}{\partial x}$	$\frac{\partial Y}{\partial x}$
X	$\frac{\partial sy}{\partial X}$	$\frac{\partial y}{\partial X}$	$\frac{\partial Y}{\partial X}$

三求导规则

最基本的求导布局有两个：分子布局(numerator layout)和分母布局(denominator layout )。

默认的布局：

向量或者矩阵对标量求导，则使用分子布局为准，

如果是标量对向量或者矩阵求导，则以分母布局为准。

例：

1 向量对标量的求导 $\frac{\partial y}{\partial sx}$

假设y为m维列向量，求导结果也是m维列向量

2 标量对矩阵求导 $\frac{\partial sy}{\partial X}$

X是m*n 的矩阵

分母布局也是m*n的矩阵

$\begin{bmatrix} \frac{\partial sy}{\partial x_{11}} ,& , & ...,& \frac{\partial sy}{\partial x_{1n}}\\ ...& .... & .... &... \\ ... ,& .... & .....&....\\ \frac{\partial sy}{\partial x_{m1}} ,& , & ...,& \frac{\partial sy}{\partial x_{mn}} \end{bmatrix}$

分子布局： n*m的矩阵

3 向量对向量的求导 $\frac{\partial y}{\partial x}$

分子布局： m*n的矩阵

$\begin{bmatrix} \frac{\partial y_1}{\partial x_1} ,& , & ...,& \frac{\partial y_1}{\partial x_n}\\ ...& .... & .... &... \\ ... ,& .... & .....&....\\ \frac{\partial y_m}{\partial x_1} ,& , & ...,& \frac{\partial y_m}{\partial x_n} \end{bmatrix}$

分母布局：n*m的矩阵,上面的转置矩阵

$\begin{bmatrix} \frac{\partial y_1}{\partial x_1} ,& , & ...,& \frac{\partial y_m}{\partial x_1}\\ ...& .... & .... &... \\ ... ,& .... & .....&....\\ \frac{\partial y_1}{\partial x_n} ,& , & ...,& \frac{\partial y_m}{\partial x_n} \end{bmatrix}$

明朝百晓生

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
矩阵向量求导一机器学习

前言：主要参考https://www.cnblogs.com/pinard/p/10750718.html。目录向量概念求导类型求导规则一向量概念列向量是一个 n×1 的矩阵，即矩阵由一个含有n个元素的列所组成：列向量的转置是一个行向量 sx: 标量 x: n维向列量 X: m*n矩阵 sy: 标量 y:...
复制链接

扫一扫