机器学习之多元微积分

机器学习的多元微积分跟高等数学中的多元微积分有很多不同之处。

矩阵求导也是一样的，本质就是每个函数分别对矩阵或者向量中的每个元素逐个求偏导，只不过写成了向量、矩阵形式而已。

1. 机器学习中的变量都是向量或者矩阵
2. 机器学习中的函数一般都是线性函数，而不是高数中的曲线和曲面、体积等函数，当然高数中的多元曲面曲线函数的微积分也可以使用向量或者矩阵来表示。因此，机器学习中的微积分跟线性代数结合在一起。
3. 机器学习中导数的分子分母都是范数。

知乎上相关的帖子：

打开链接

打开链接

定义：

定理1

此定理我也理解的不够深入，先放在这里，以后有机会仔细研究。

例子1：

复现：

例子2：

复现：

对上图的例子，计算导数时要先展开成图中的格式，然后根据导数的定义，|| f(x + delta x) - f(x) || / ||x||

定理2

验证：

其他特殊求导公式

推导过程看不明白，手动验证如下：