机器学习基础 2：矩阵乘法以及求导

向量、矩阵、张量

向量：一维数组
矩阵：二维数组
张量：N 维数组 什么是张量(tensor)？

特殊矩阵

对角矩阵 $$\left[\begin{array}{ccc}{a}_{11}& 0& 0\\ 0& a_{22}& 0\\ 0& 0& a_{33}\end{array}\right]$$
单位矩阵 $$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

行列式（determinant）

  根据 某考研视频，行列式定义如下：

$$\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=a_{11}{a}_{22}-a_{12}{a}_{21}$$
$$\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=a_{11}{a}_{22}{a}_{33}+a_{12}{a}_{23}{a}_{31}+a_{21}{a}_{32}{a}_{13}-a_{13}{a}_{22}{a}_{31}+a_{12}{a}_{21}{a}_{33}+a_{23}{a}_{32}{a}_{11}$$
二阶行列式由2个二维向量（$(a_{11},a_{12})$ 与 $(a_{21},a_{22})$）组成，其结果为两个向量为邻边的平行四边形的面积

三阶行列式由3个三维向量组成，其结果为三个向量为邻边的平行六面体的体积

  对上述情形进行扩展：

$$\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|$$ $n$ 阶行列式由 $n$ 个 $n$ 维向量组成，其结果是以这 $n$ 个向量的 $n$ 维图形的 $n$ 维体积
为方便起见，定义 $D_{n\times n}=\left|\begin{array}{c}{A}_{n\times n}\end{array}\right|$

  行列式有以下性质

• 某行元素全为零 $\Rightarrow$ $D=0$

• 两行元素对应成比例 $\Rightarrow$ $D=0$
• 交换两行元素 $\Rightarrow$ $D$ 变号  (互换)
• 某行元素乘以 $k$ $\Rightarrow$ $D$ 乘以 $k$  (倍乘)
• 某行元素乘以 $k$ 后加到另一行 $\Rightarrow$ $D$ 不变 (倍加)
• 单行可拆 $\Rightarrow$ 只有一行元素不同的行列式可以相加  (可加性)
• 以上行的性质均适用于列

  行列式有以下重要结论

• 当 $D̸=0$ 时，向量之间相互独立 (线性无关)

• 当 $D=0$ 时，向量中至少一个多余 (线性相关)

###矩阵（matrix）
  根据 某考研视频，矩阵的本质为：

表面上，是一个表达系统信息的数表
本质上，用秩来研究矩阵

  秩的定义

给出 $A_{m\times n}$ 若有
$$\{\begin{array}{rl}\exists k阶子式不为0& \Rightarrow \exists k个独立向量\\ \forall k+1阶子式全为0& \Rightarrow \forall k+1个向量中至少有一个多余\end{array}$$ 有且仅有 $k$ 个独立向量独立，故秩是组成 $A$ 的独立向量的个数，$A$ 的秩 表示为$r(A)=k$，

  考察一种特殊形式的矩阵——阶梯矩阵

$$\begin{gathered} A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ 0& a_{22}& a_{13}\\ 0& 0& a_{33}\end{array}\right] \\ B=[\begin{array}{c}\\ 1\end{array} \end{gathered}$$