MachineLearning1_LinearAlgebra

二 LinearAlgebra [1]

// 求导

梯度（将导数拓展到向量）：标量对标量求导→标量；向量对标量求导→标量；标量对向量求导→向量；向量对向量求导→矩阵。

# 标量y（1，）对向量x（n，1）：（1，n）

# 标量y（1，）对矩阵x（n,k）: (k,n)

#（m，1）（n，1）：（m，n）

# （m，1）（n，k）：（m，k，n）

# （m，l）（1，）：（m，l）

# （m，l）（n，1）：（m，l，n）

# （m，l）（n，k）：（m，l，k，n）

### 标量y对列向量x求导→一个行向量；列向量y对标量x求导→列向量；列向量y对列向量x求导→矩阵 （矩阵每一行：y的第一行对x所有行分别偏导 AND 矩阵每一列：y的所有行分别对x第一行偏导）（分子布局）

常见求导内容：标量y对向量xi求导=[偏导y/x1，偏导y/x2，，，]

“梯度指向值变化最大的方向”

y对向量x求导的几种情况案例：

1. 标量y

① 标量y与向量x无关：全0向量

② y = 标量a*函数值u：标量a*（偏导函数u/向量x）

③ y = sum(向量x)：全1向量T

④ y = 向量x的L2Norm：2*向量xT

⑤ y = u + v：偏导函数u/向量x + 偏导函数v/向量x

⑥ y = u*v：v*（偏导函数u/向量x） + u*（偏导函数v/向量x）

⑦ y =  <向量u，向量v>：vT*（偏导向量u/向量x） + uT*（偏导向量v/向量x）

2. 向量y

① 向量y不是向量x的函数：全是0的向量

② 向量y等于向量x：x的identity向量I

③ 向量y = A*向量x：A

④ 向量y = 向量xT*A：AT

⑤ 向量y = a*向量u：a*（偏导向量u/向量x）

⑥ 向量y = A*向量u：A*（偏导向量u/向量x）

⑦ 向量y = u + v：偏导函数u/向量x + 偏导函数v/向量x

References：

[1] 李沐，《动手学深度学习》，课程安排 - 动手学深度学习课程 (d2l.ai)，跟李沐学AI的个人空间-跟李沐学AI个人主页-哔哩哔哩视频 (bilibili.com)

[2]