矩阵向量求导链式法则

1. 向量对向量求导的链式法则

       首先我们来看看向量对向量求导的链式法则。假设多个向量存在依赖关系，比如三个向量x→y→z存在依赖关系，则我们有下面的链式求导法则：

       

2. 标量对多个向量的链式求导法则

      在我们的机器学习算法中，最终要优化的一般是一个标量损失函数，因此最后求导的目标是标量，无法使用上一节的链式求导法则，比如2向量，最后到1标量的依赖关系：x→y→z，此时很容易发现维度不相容。

       

 　  如果是标量对更多的向量求导,比如y1→y2→...→yn→zy1→y2→...→yn→z，则其链式求导表达式可以表示为：

      

3. 标量对多个矩阵的链式求导法则

     下面我们再来看看标量对多个矩阵的链式求导法则，假设有这样的依赖关系：X→Y→z那么我们有：

       

      机器学习常用矩阵求导：