[NNDL] 最小二乘法解的矩阵形式

最新推荐文章于 2022-09-14 19:20:41 发布

lih627

最新推荐文章于 2022-09-14 19:20:41 发布

阅读量280

点赞数

分类专栏：深度学习文章标签：线性代数机器学习

本文链接：https://blog.csdn.net/Hoooo_233/article/details/108956630

版权

本文介绍了最小二乘法在线性回归中的应用，通过矩阵形式解析平方损失函数，展示如何对参数求导，并求解经验风险最小化的最优参数。通过分析，得到导数为0时的解为(XTX)^{-1}XTy。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最小二乘法解的矩阵形式

文章目录

最小二乘法解的矩阵形式

简介

最近在看 NNDL，其中有一个经验风险最小化的例子，即最小二乘法，定义如下：

给定一组包含 $N$ 个训练样本的训练机 $D=\{(\mathbf{x}^{(n), }y^{(n)})\}_{n = 1}^N$ 。使用线性回归。样本和参数均为列向量。
$f(\mathbf{x};\mathbf{w}) = \mathbf{w}^T\mathbf{x}$

平方损失函数

经验风险最小化，训练集的风险被定义为， $X=[\mathbf{x}_1, \mathbf{x}_2,\cdots,\mathbf{x}_N]^T$ ：
$\begin{aligned} R(\mathbf{w}) &= \sum_{n = 1}^N\frac{1}{2}\left(y^{n} - \mathbf{w}^T\mathbf{x}^{(n)}\right)\\&= \frac{1}{2}\|\mathbf{y} - \mathbf{X}\mathbf{w}\|^2\\&= \frac{1}{2}(\mathbf{y} -\mathbf{Xw})^T(\mathbf{y} - \mathbf{Xw})\\&= \frac{1}{2}(\mathbf{y}^T-\mathbf{w}^T\mathbf{X}^T)(\mathbf{y} - \mathbf{Xw}) \\&= \frac{1}{2}\left(\mathbf{y}^T\mathbf{y} - \mathbf{y}^T\mathbf{X}\mathbf{w} - \mathbf{w}^T\mathbf{X}^T\mathbf{y} + \mathbf{w}^T\mathbf{X}^T\mathbf{X}\mathbf{w}\right) \end{aligned}$