矩阵求导
文章平均质量分 86
矩阵求导
OlivePlum
这个作者很懒,什么都没留下…
展开
-
矩阵求导之一:理论篇
函数\变元标量变元向量变元矩阵变元实值标量函数fxfxfxfxfXfX实向量函数fxfxfxfxfXfX实矩阵函数FxFxFxFxFXFX函数\变元标量变元向量变元矩阵变元实值标量函数∂f∂x∂x∂f∂f∂x∂x∂f∂f∂X∂X∂f实向量函数∂f∂x∂x∂f∂f∂x∂x∂f∂f∂X∂X∂f实矩阵函数∂F∂x。原创 2023-10-11 17:21:57 · 84 阅读 · 0 评论 -
矩阵求导之二:定义篇(上)
有了上一篇文章的直观感受,本篇文章将针对同类型的函数、变元给出严谨的导数定义。因为向量和标量都可以表示成简单的矩阵形式,所以这里我们使用矩阵来泛化的表示所有含义。规定:粗体小写字母(如x\boldsymbol{x}x)表示向量,粗体大写字母(如X\boldsymbol{X}X)表示矩阵。 1 标量对向量求导 1.1 定义 设f(x)=f(x1,x2,⋯ ,xn)f\left( \boldsymbol{x} \right) =f\left( x_1,x_2,\cdots ,x_n \right)f(x)=f(原创 2023-10-20 04:05:40 · 85 阅读 · 0 评论 -
矩阵求导之三:定义篇(中)
5 向量对矩阵求导 5.1 定义 设矩阵 Xm×n=[x11x12⋯x1nx21x22⋯x2n⋮⋮⋱⋮xm1xm2⋯xmn] \boldsymbol{X}_{m\times n}=\left[ \begin{matrix} x_{11}& x_{12}& \cdots& x_{1n}\\ x_{21}& x_{22}& \cdots& x_{2n}\\ \vdots& \vdots& \ddots& \vdots原创 2023-10-20 05:52:50 · 63 阅读 · 0 评论 -
矩阵求导之四:定义篇(下)
6 矩阵对标量求导 6.1 定义 对于m×nm\times nm×n的矩阵 Fm×n(x)=[f11(x)f12(x)⋯f1n(x)f21(x)f22(x)⋯f2n(x)⋮⋮⋱⋮fm1(x)fm2(x)⋯fmn(x)]m×n \boldsymbol{F}_{m\times n}\left( x \right) =\left[ \begin{matrix} f_{11}\left( x \right)& f_{12}\left( x \right)& \cdots& f_{1n原创 2023-10-22 02:01:37 · 86 阅读 · 0 评论 -
矩阵求导之五:机器学习中的常用公式(上)
在了解了矩阵求导的定义之后,可以借助定义进行一些机器学习中常用公式的推导。约定x\boldsymbol{x}x为nnn维列向量: x=[x1x2⋯xn]T \boldsymbol{x}=\left[ \begin{matrix} x_1& x_2& \cdots& x\\ \end{matrix}_n \right] ^T x=[x1x2⋯xn]T 结论一 ∂a∂x=0 \frac{\partial a}{\partial \boldsymbol{x}}=0 ∂原创 2023-10-22 13:30:46 · 100 阅读 · 0 评论 -
矩阵求导之五:机器学习中的常用公式(下)
结论八 ∂(aTXTb)∂X=baT \frac{\partial \left( \boldsymbol{a}^T\boldsymbol{X}^T\boldsymbol{b} \right)}{\partial \boldsymbol{X}}=\boldsymbol{ba}^T ∂X∂(aTXTb)=baT 其中a\boldsymbol{a}a,b\boldsymbol{b}b为常数向量: a=[a1a2⋯an]T b=[b1b2⋯bm]T \boldsymbol{a}=\left[原创 2023-10-22 15:17:52 · 37 阅读 · 0 评论