矩阵、向量、元素求导问题

最新推荐文章于 2021-12-18 22:49:32 发布

binggorun

最新推荐文章于 2021-12-18 22:49:32 发布

阅读量624

点赞数

分类专栏：基础学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/SQL__Learning/article/details/70243157

版权

基础学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

在学习机器学习的过程中，对模型的优化学习是重要的一环，而其中难免涉及求导问题；所以写这个博客以便学习矩阵、向量及元素的求导问题

一、向量、矩阵对元素求导

就一句话：向量、矩阵中的元素分别对该元素求导

eg.

$Y = \begin{bmatrix} y_{11} & ... & y_{1n}\\ \vdots & \vdots & \vdots \\ y_{m1}& ... & y_{mn} \end{bmatrix}$ 为一个m*n的矩阵， x为一个元素，则： $\frac{\partial Y}{\partial x} = \begin{bmatrix} \frac{\partial y_{11}}{\partial x} & ... & \frac{\partial y_{1n}}{\partial x}\\ \vdots & \vdots & \vdots \\ \frac{\partial y_{m1}}{\partial x}& ... &\frac{\partial y_{mn}}{\partial x} \end{bmatrix}$

二、矩阵/向量对矩阵/向量求导

和上面类似，也是矩阵/向量中的元素对矩阵/向量中的元素分别求导

$Y = \begin{bmatrix} y_{11} & ... & y_{1n}\\ \vdots & \vdots & \vdots \\ y_{m1}& ... & y_{mn} \end{bmatrix}$ 为一个m*n的矩阵, $X^{T} = [x_{1},...,x_{q}]$ 为一个q维向量，则

$\frac{\partial Y}{\partial X} = \begin{bmatrix} \frac{\partial y_{11}}{\partial X} & ... & \frac{\partial y_{1n}}{\partial X}\\ \vdots & \vdots & \vdots \\ \frac{\partial y_{m1}}{\partial X}& ... &\frac{\partial y_{mn}}{\partial X} \end{bmatrix}$ $\frac{\partial Y}{\partial X^{T}} = [\frac{\partial Y}{\partial x_{1}},...,\frac{\partial Y}{\partial x_{q}}]$ $\frac{\partial X}{\partial Y} = \begin{bmatrix} \frac{\partial x_{1}}{\partial Y}\\ ...\\ \frac{\partial x_{q}}{\partial Y}\end{bmatrix}$ $\frac{\partial X^{T}}{\partial Y} = \begin{bmatrix} \frac{\partial X^{T}}{\partial y_{11}} & ... & \frac{\partial X^{T}}{\partial y_{1n}}\\ \vdots & \vdots & \vdots \\ \frac{\partial X^{T}}{\partial y_{m1}} & ... & \frac{\partial X^{T}}{\partial y_{mn}} \end{bmatrix}$

由于学习机器学习的过程中应用的多为矩阵对向量求导，所以我们列几个常用的公式：

X是一个向量，A是一个矩阵，则：

$\frac{\partial A*x}{\partial x} = A$ $\frac{\partial x^{T}*A}{\partial x^{T}} = A$ $\frac{\partial x^{T}*A}{\partial x} = A^{T}$ $\frac{\partial X^{T}AX}{\partial X}=(A+A^{T})X$

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
矩阵、向量、元素求导问题

求导
复制链接

扫一扫

专栏目录

binggorun CSDN认证博客专家 CSDN认证企业博客

码龄8年

28: 原创

122万+: 周排名

4万+: 总排名

3万+: 访问

: 等级

797: 积分

206: 粉丝

297: 获赞

2: 评论

338: 收藏

私信

关注

热门文章

分类专栏

最新评论

python数据可视化
Jiangxl~: 文章内容丰富、实用性强，结构合理，语言流畅，代码清晰，思路清晰，图文并茂，详略得当，三连支持，期待博主持续输出好文，也期待博主能来指导一下我的文章
python数据可视化
普通网友: 写的很详细，感谢博主的分享。【我也写了一些相关领域的文章，希望能够得到博主的指导，共同进步！】
数据转dataframe
CSDN-Ada助手: 推荐 Python入门技能树：https://edu.csdn.net/skill/python?utm_source=AI_act_python

大家在看

GroupMamba实战：使用GroupMamba实现图像分类任务（一） 665

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。