矩阵求导基础与最小二乘法应用解析

公式速查

矩阵求导

符号规定

符号	含义
$\mathbf{A}$ $\mathbf{X}$	矩阵
$\mathbf{a}$ $\mathbf{x}$	（列）向量
$a$ $x$	标量

为什么要矩阵求导？

在计算机世界中，数据通常使用矩阵（或向量、张量）来表示。使用矩阵来表示和操作数据有助于更高效地处理多维数据；使用矩阵表达有助于简化数学公式，形式简洁；矩阵求导几乎是求解优化问题不可避免的必学内容（例如：随机梯度下降法，即求目标函数相对于各个参数的偏导数，多维）

优点：速度块；numpy 数值计算库

矩阵求导的本质

矩阵求导的本质：对于 $\frac{\mathrm{d}\mathbf{A}}{\mathrm{d}\mathbf{B}}$，即矩阵 $\mathbf{A}$ 中的每一个元素对矩阵 $\mathbf{B}$ 中的每一个元素求导

存在两种布局：分子布局和分母布局，两者得到的结果为转置关系，下文均采用分母布局

Q：什么叫做向量函数？【答：输出为向量（或矩阵）的函数】

例 1：

$$\begin{array}{r}f(x)=\left[\begin{array}{c}{f}_1(x)\\ f_2(x)\end{array}\right]\end{array}$$

上述函数完成从 $\mathbb{R}\to {\mathbb{R}}^2$ 的映射

例 2：

$$\begin{array}{r}f(x)=\left[\begin{array}{cc}{f}_1(x)=x_1+x_2& f_2(x)=x_1^2+x_2^2\\ f_3(x)=x_1^3+x_2^3& f_4(x)=x_1^4+x_2^4\end{array}\right]\end{array}$$

上述函数完成从 $\mathbb{R}\to {\mathbb{R}}^{2\times 2}$ 的映射

求导秘术：YX 拉伸

两句口诀：标量不变，向量拉伸；前面横向拉，后面纵向拉

说明：针对 Y 对 X 求导，前面指的是 Y，后面指的是 X；YX 拉伸对应分母布局

下面主要介绍标量对向量、向量对标量、向量对向量三种求导情况

例 1：【标量对向量求导 — 纵向拉】

已知：$f(x)=f(x_1,x_2,\dots ,f_n)$ $x=\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right]$

$$\begin{array}{rl}\frac{\mathrm{d}f(x)}{\mathrm{d}x}& =\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ ...\\ \frac{\partial f(x)}{\partial x_n}\end{array}\right]\end{array}$$

例 2：【向量对标量求导 —— 横向拉】

已知：$f(x)=\left[\begin{array}{c}{f}_1(x)\\ f_2(x)\\ ...\\ f_n(x)\end{array}\right]$ $x$ 为标量

$$\begin{array}{rl}\frac{\mathrm{d}f(x)}{\mathrm{d}x}& =\left[\begin{array}{cccc}\frac{\partial f_1(x)}{\partial x}& \frac{\partial f_2(x)}{\partial x}& ...& \frac{\partial f_n(x)}{\partial x}\end{array}\right]\end{array}$$

例 3：【向量对向量求导 —— 先横向拉后纵向拉 or 先纵向拉后横向拉】

已知：$f(x)=\left[\begin{array}{c}{f}_1(x_1,x_2,...,x_n)\\ f_2(x_1,x_2,...,x_n)\\ ...\\ f_n(x_1,x_2,...,x_n)\end{array}\right]$ $x=\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right]$

$$\begin{array}{rlr}\frac{\mathrm{d}f(x)}{\mathrm{d}x}& =\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ ...\\ \frac{\partial f(x)}{\partial x_n}\end{array}\right]& ={\left[\begin{array}{cccc}\frac{\partial f_1(x)}{\partial x_1}& \frac{\partial f_2(x)}{\partial x_1}& ...& \frac{\partial f_m(x)}{\partial x_1}\\ \frac{\partial f_1(x)}{\partial x_2}& \frac{\partial f_2(x)}{\partial x_2}& ...& \frac{\partial f_m(x)}{\partial x_2}\\ ...& ...& ...& ...\\ \frac{\partial f_1(x)}{\partial x_n}& \frac{\partial f_2(x)}{\partial x_n}& ...& \frac{\partial f_m(x)}{\partial x_n}\end{array}\right]}_{n\times m}\end{array}$$

常用矩阵求导公式推导

例 1：$f(x)={\mathbf{a}}^T\mathbf{x}$，其中 $\mathbf{a}\in {\mathbb{R}}^{n\times 1}$，$\mathbf{x}\in {\mathbb{R}}^{n\times 1}$

$$f(x)=a_1{x}_1+a_2{x}_2+...+a_n{x}_n=\sum _{i=1}^n{a}_i{x}_i$$

$$\begin{array}{rl}\frac{\mathrm{d}f(x)}{\mathrm{d}x}& =\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ ...\\ \frac{\partial f(x)}{\partial x_n}\end{array}\right]\\ & =\left[\begin{array}{c}{a}_1\\ a_2\\ ...\\ a_n\end{array}\right]\\ & =\mathbf{a}\end{array}$$

向量内积：${\mathbf{a}}^T\mathbf{x}={\mathbf{x}}^T\mathbf{a}=[\mathbf{a},\mathbf{x}]$

例 2：$f(x)={\mathbf{x}}^T\mathbf{Ax}$，其中 $\mathbf{x}\in {\mathbb{R}}^{n\times 1}$，$\mathbf{A}\in {\mathbb{R}}^{n\times n}$

$$\begin{array}{rl}f(x)& ={\mathbf{x}}^T\mathbf{Ax}\\ & =\left[\begin{array}{cccc}{x}_1& x_2& ...& x_n\end{array}\right]\left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ ...& & & \\ a_{n1}& a_{n2}& ...& a_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right]\\ & =\left[\begin{array}{cccc}{x}_1& x_2& ...& x_n\end{array}\right]\left[\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n\\ a_{21}{x}_1+a_{22}{x}_2+...+a_{2n}{x}_n\\ ...\\ a_{n1}{x}_1+a_{n2}{x}_2+...+a_{nn}{x}_n\end{array}\right]\\ & =(a_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n)x_1+...\end{array}$$

$$\begin{array}{rl}\frac{\mathrm{d}f(x)}{\mathrm{d}x}& =\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ ...\\ \frac{\partial f(x)}{\partial x_n}\end{array}\right]\\ & =\left[\begin{array}{c}(a_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n)+(a_{11}{x}_1+a_{21}{x}_2+...+a_{n1}{x}_n)\\ (a_{21}{x}_1+a_{22}{x}_2+...+a_{2n}{x}_n)+(a_{12}{x}_1+a_{22}{x}_2+...+a_{n2}{x}_n)\\ ...\\ (a_{n1}{x}_1+a_{n2}{x}_2+...+a_{nn}{x}_n)+(a_{1n}{x}_1+a_{2n}{x}_2+...+a_{nn}{x}_n)\end{array}\right]\\ & =(\mathbf{A}+{\mathbf{A}}^T)\mathbf{x}\end{array}$$

矩阵求导应用：最小二乘法

问题描述：给定一个输入矩阵 $\mathbf{X}\in {\mathbb{R}}^{m\times n}$ 和一个目标值向量 $\mathbf{y}\in {\mathbb{R}}^m$，线性回归模型的参数向量为 $\mathbf{w}\in {\mathbb{R}}^n$，模型的预测值为：$\hat{\mathbf{y}}=\mathbf{Xw}$。其中：$\mathbf{X}$ 是输入特征矩阵，每一行表示一个样本，每一列表示一个特征；$\mathbf{w}$ 是模型的待优化参数，即权重向量；$\hat{\mathbf{y}}$ 是模型的预测结果。

在线性回归问题中，最小二乘法的目标是拟合一个线性模型，使得模型的预测值与真实数据之间的误差最小化，即目标函数为：$L(\mathbf{w})=\Vert \mathbf{Xw}-\mathbf{y}{\Vert }^2$。为了找到使得损失函数最小的权重向量 $\mathbf{w}$，我们需要对损失函数 $L(\mathbf{w})$ 关于 $\mathbf{w}$ 求导，并令导数为 0，进而求解最优参数。

$$\begin{array}{rl}L(\mathbf{w})& =\Vert \mathbf{Xw}-\mathbf{y}{\Vert }^2\\ & =(\mathbf{Xw}-\mathbf{y}{)}^T(\mathbf{Xw}-\mathbf{y})\\ & =({\mathbf{w}}^T{\mathbf{X}}^T-{\mathbf{y}}^T)(\mathbf{Xw}-\mathbf{y})\\ & ={\mathbf{w}}^T{\mathbf{X}}^T\mathbf{Xw}-{\mathbf{w}}^T{\mathbf{X}}^T\mathbf{y}-{\mathbf{y}}^T\mathbf{Xw}+{\mathbf{y}}^T\mathbf{y}\end{array}$$

$$\begin{array}{rl}\frac{\partial L(\mathbf{w})}{\partial \mathbf{w}}& =({\mathbf{X}}^T\mathbf{X}+({\mathbf{X}}^T\mathbf{X}{)}^T)\mathbf{w}-{\mathbf{X}}^T\mathbf{y}-{\mathbf{y}}^T\mathbf{X}\\ & =2({\mathbf{X}}^T\mathbf{Xw}-{\mathbf{X}}^T\mathbf{y})\end{array}$$

令 $\frac{\partial L(\mathbf{w})}{\partial \mathbf{w}}=0$ 得 $\mathbf{w}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$

参考资料

【手推机器学习】矩阵求导–合集：https://www.bilibili.com/video/BV1xk4y1B7RQ

空狐公子：https://www.bilibili.com/video/BV1fK411W7oh

西凉阿土伯：https://www.bilibili.com/video/BV13J41157Wq

Mathematics for Machine Learning 书籍下载地址：https://mml-book.github.io

《计算机视觉》by 张林：https://cslinzhang.github.io/home/CV/CV.htm