机器学习：矩阵、向量求导理解

本文属于我的机器学习/深度学习系列文章，点此查看系列文章目录

前言

关于函数求导大部分人都懂得如何求，但基本都是单变量对单变量和多变量对单变量的求导，在机器学习（深度学习）中经常性要用到向量对向量，矩阵对向量的求导等，掌握这些求导法则也是十分必要的。

本文将由简入繁，讲述如何矩阵、向量求导，也可以将本文作为手册，在需要的时候查询对应求导法则。

1. 向量与单变量求导

1.1 向量对单变量

向量包含行、列向量，对于单个变量的求导类似，也很容易理解。

一般情况下我们约定单个向量符号$\mathbf{x}$指列向量，如果要表示行向量，添加一个T转置符号${\mathbf{x}}^T$

• 列向量
  设$\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right],x$是单变量，则$\frac{\partial \mathbf{y}}{\partial x}=\left[\begin{array}{c}\frac{\partial y_1}{\partial x}\\ \frac{\partial y_2}{\partial x}\\ ...,\\ \frac{\partial y_n}{\partial x}\end{array}\right]$

• 行向量
  设${\mathbf{y}}^T=[y_1,y_2,...,y_n],x$是单变量，则$\frac{\partial {\mathbf{y}}^T}{\partial x}=[\frac{\partial y_1}{\partial x},\frac{\partial y_2}{\partial x},...,\frac{\partial y_n}{\partial x}]$

1.2 单变量对向量求导

与向量对单变量求导刚好相反，两者颠倒一下。但总体意义相似，结果是单变量分别对向量中元素的求导组成的新向量。

• 列向量
  设$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right],y$$是单变量，则$$\frac{\partial y}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \frac{\partial y}{\partial x_2}\\ ...,\\ \frac{\partial y}{\partial x_n}\end{array}\right]$
• 行向量
  设${\mathbf{x}}^T=[x_1,x_2,...,x_n],y$是单变量，则$\frac{\partial y}{\partial {\mathbf{x}}^T}=[\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2},...,\frac{\partial y}{\partial x_n}]$

2. 矩阵与单变量求导

2.1 矩阵对单变量求导

矩阵对单变量的求导与向量求导类似，就是每个元素分别对变量求导。

设$Y=\left[\begin{array}{ccc}{y}_{11}& ...& y_{1n}\\ ...& ...& ...\\ y_{m1}& ...& y_{mn}\end{array}\right]$，则$\frac{\partial Y}{\partial x}=\left[\begin{array}{ccc}\frac{\partial y_{11}}{\partial x}& ...& \frac{\partial y_{1n}}{\partial x}\\ ...& ...& ...\\ \frac{\partial y_{m1}}{\partial x}& ...& \frac{\partial y_{mn}}{\partial x}\end{array}\right]$

2.2 单变量对矩阵求导

设 X = [ x 11 . . . x 1 n . . . . . . . . . x m 1 . . . x m n ] X= \begin{bmatrix} x_{11} & ... & x_{1n} \\ ... & ... & ... \\ x_{m1} & ... & x_{mn} \end{bmatrix}