矩阵运算

最新推荐文章于 2022-02-25 20:49:23 发布

蚊子爱牛牛

最新推荐文章于 2022-02-25 20:49:23 发布

阅读量318

点赞数

分类专栏：矩阵文章标签：矩阵的运算迹正规方程的推导

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/XJY104165/article/details/78358318

版权

矩阵专栏收录该内容

1 篇文章 0 订阅

订阅专栏

矩阵的迹

假设矩阵A是一个n*n的方阵，则

t r A = \sum i A i i

$tr A=\sum_iA_{ii}$

$tr AB=tr BA$
$tr ABC = tr CAB=tr BCA$
$\nabla_A tr AB = B^T$
$tr A=tr A^T$
$\nabla_A tr ABA^TC=CAB+C^TAB^T$

利用矩阵的迹的结论，来推导normal equation

先介绍下什么是normal equation：假设一个数据集X有m个样本，n个特征， $(x^{(i)},y^{(i)})$ 是一对输入输出数据对，假设函数为：

h θ (x (i)) = x (i) 0 θ 0 + x (i) 1 θ 1 + . . . + x (i) n θ n

$h_\theta(x^{(i)})=x^{(i)}_0\theta_0+x^{(i)}_1\theta_1+...+x^{(i)}_n\theta_n$
其中上标i表示第i个样本，

x(i)0=1 $x_0^{(i)}=1$ 。最小化目标函数：

J (θ) = 1 2 \sum i = 1 m (h θ (x (i)) - y (i)) 2

$J(\theta)=\frac{1}{2}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$
写成矩阵相乘的形式：

J (θ) = 1 2 (X θ - Y) T (X θ - Y)

$J(\theta)=\frac{1}{2}(X\theta-Y)^T(X\theta-Y)$
其中

这里写图片描述

$\min J(\theta)$ ，可以通过求解梯度为零来得到

\nabla θ J (θ) = \nabla θ 1 2 (X θ - Y) T (X θ - Y) = \nabla θ 1 2 (θ T X T X θ - Y T X θ - θ T X T Y + Y T Y) = 1 2 \nabla θ t r (θ T X T X θ - Y T X θ - θ T X T Y + Y T Y) = 1 2 \nabla θ t r (θ T X T X θ) - 1 2 \nabla θ t r (Y T X θ) - 1 2 \nabla θ t r (θ T X T Y) = 1 2 \nabla θ t r (θ θ T X T X) - \nabla θ t r (Y T X θ) = 1 2 (X T X θ I + X T X θ I T) - X T Y = X T X θ - X T Y

$\nabla_\theta J(\theta)=\nabla_\theta \frac{1}{2}(X\theta-Y)^T(X\theta-Y) \\=\nabla_\theta \frac{1}{2}(\theta^TX^TX\theta-Y^TX\theta-\theta^TX^TY+Y^TY)\\=\frac{1}{2}\nabla_\theta tr(\theta^TX^TX\theta-Y^TX\theta-\theta^TX^TY+Y^TY)\\=\frac{1}{2}\nabla_\theta tr(\theta^TX^TX\theta)-\frac{1}{2}\nabla_\theta tr(Y^TX\theta)-\frac{1}{2}\nabla_\theta tr(\theta^TX^TY)\\=\frac{1}{2}\nabla_\theta tr(\theta\theta^TX^TX)-\nabla_\theta tr(Y^TX\theta)\\=\frac{1}{2}(X^TX\theta I+X^TX\theta I^T)-X^TY\\=X^TX\theta-X^TY$
取

∇θJ(θ)=0 $\nabla_\theta J(\theta)=0$ ，得到

X T X θ - X T Y = 0

$X^TX\theta-X^TY=0$
故推得normal equation：

θ = (X T X) - 1 X T Y

$\theta=(X^TX)^{-1}X^TY$

蚊子爱牛牛

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
矩阵运算

矩阵的迹，normal equation的推导
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。