【动手学深度学习】3.矩阵计算及其自动求导含义和简单实现

前言

这几天一直在看B站王木头的视频，仔细阐述了我最初认识神经网络的遇到的但是好像没人在意的问题，讲得非常棒。

---

矩阵的求导运算

对于机器学习或者是说深度学习来讲，所有的优化模型的求解都是通过求导数来进行的。
先来回忆一下标量的求导





标量 y 对 n 维列向量 x=(x1,x2,⋯,xn)T 求导，其结果还是一个 n 维列向量。
标量 y 对 n 维行向量 xT=(x1,x2,⋯,xn) 求导，其结果还是一个 n 维行向量。
形状规则：标量 y 对向量 x 的每个元素求导，然后将各个求导结果按向量 x 的形状排列。
原文地址：https://www.cnblogs.com/yanghh/p/137