机器学习中的矩阵求导的问题

本文探讨了机器学习中矩阵求导的两种布局——分子布局和分母布局,分析了它们在不同情况下的使用。理论上来讲,标量对向量求导结果按列排布,但在实际计算中可能按行排布。同时,文章指出在PyTorch的自动求导中`backward()`函数的应用,并推荐了几篇相关博客作为深入学习的资源。核心问题在于理解何时使用分子布局和分母布局,以及理论与计算之间的矛盾。
摘要由CSDN通过智能技术生成

机器学习中的线性代数之矩阵求导_Vinicier的博客-CSDN博客_矩阵求导

主要参考了上述博文,不过越看越懵,有没有大佬帮我答疑解惑一些,非常感激~

在矩阵求导中有两种布局,分别为分母布局(denominator layout)和分子布局(numerator layout)

分子布局,就是分子是列向量形式,分母是行向量形式,分子的行决定结果的行,分母的列决定结果的列。

分母布局,就是分子是行向量形式,分母是列向量形式,分母的行决定结果的行,分子的列决定结果的列。

问题:什么时候用分子布局?什么时候用分母布局?

矛盾:标量对向量的求导在理论和计算中存在矛盾

理论1:标量关于向量中的每个元素求导后,结果按列排布

计算1:实际计算分析中,标量关于向量中的元素求导后,结果按行排布。

          

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值