矩阵计算算

标量导数

亚导数 

将导数拓展到不可微的函数，则需要亚导数（注意，非偏导数）

梯度

将导数拓展到向量，则有梯度的概念

y是x的函数：

1.y是标量，x是标量，求导为标量

2.y是标量，x是向量，求导是向量

3.y是向量，x是标量，求导是向量

4.y和x都是向量，求导是矩阵

y是标量，x是向量

注意点：

1.图中，x是一个列向量，标量y对列向量x求导是一个行向量（即，标量关于列向量的导数是一个行向量）

2.x有几个元素，y对x求导之后就有几个元素，第i个元素为y对xi求导的值

3.图中，y被定义为式子x1^2 + 2*x2^2，即x中有两个元素，所有y这个函数中也有两个函数，求导之后的行向量也有两个元素，分别是y对xi的导数

4.梯度指向的是值变化最大的方向

例子1

解释：

1.y是与x无关的值，如a时，对于x求导的值则为0行向量。注意，T表示转置，把列向量转为行向量，更加规范。（向量一般指列向量）

2.y = sum(x)，y对x求导，则为全是1的列向量。因为y = x1 + x2 + x3 + x4...，求导全是1

3.第四个是L2范数，L2范数为向量元素平方和的平方根，L2范数再平方就是y = x1^2 + x2^2 + ... + xn^2，求导可得到2xT

4.最后一个，注意u和v是向量，向量对向量求导是矩阵，u的转置是行向量，行向量乘矩阵依旧是行向量，所以最后结果是行向量

y是向量，x是标量

注意点：

1.图中，y是一个列向量，向量y对标量x求导是一个列向量

2.y有几个元素，y对x求导之后就有几个元素，第i个元素为yi对x求导的值

y是向量，x也是向量

体会：y和x都是列向量，一个一个取y中的元素，则yi对整个列向量x求导就是一个行向量，那么整个整个y中的元素对x求导，就是很多个行向量组成的矩阵 

例1

解释：

1.y = x时，y和x都是列向量，所以求导出来是一个主对角线为1，其余为0的矩阵

2.注意第3、4个。第三个A是一个矩阵，相当于2的对角矩阵左乘A仍为A

拓展到矩阵