十里清风

文章目录矩阵对标量求导标量对矩阵求导向量对向量求导（雅可比矩阵）向量求导的链式法则矩阵迹实值函数对向量求导参考资料1. 机器学习中的矩阵、向量求导矩阵对标量求导求导结果与函数（矩阵）同型，即导数结果的每个元素就是矩阵相应分量对标量的求导。若函数矩阵f\boldsymbol ff是一个m×nm\times nm×n维矩阵，则求导结果也是一个m×nm\times nm×n维矩阵，其中(∂f∂x)ij=∂fij∂x\left(\frac{\partial\boldsymbol f}{\partia

方向导数、负梯度、SGD、Adagrad、RMSprop、Adam

凸集、凸函数、凸规划、一阶判别公式、二阶判别公式

等式约束极值、拉格朗日乘子法、不等式约束极值、KT条件

方向导数、梯度、全微分、偏导数