机器学习笔记05-矩阵基础知识

前言

矩阵的相关操作在机器学习中很重要，为了给之后打下坚实的基础，在此对矩阵的基础知识进行总结学习。主要包括矩阵的四则运算（加减乘除）以及矩阵的转置与逆矩阵。

什么是矩阵

在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合 ，最早来自于方程组的系数及常数所构成的方阵。这一概念由19世纪英国数学家凯利首先提出。直观解释就是由中括号包起来的一组二维数据，如下所示即就是一个2*2的矩阵。

$$A=\left[\begin{array}{ll}1& 2\\ 3& 4\end{array}\right]$$

常见的表示方法
一般情况下，由大写字母（如：A、B）表示一个矩阵，此处用A来表示上述矩阵。则：

$A_{ij}即表示矩阵中的元素，其中i表示第i行，j表示第j列。$

$A_{11}$即表示A矩阵中第1行第1列的元素，即就是1；$A_{22}$即表示A矩阵中第2行第2列的元素，即就是4；$A_{32}$即表示A矩阵中第3行第2列的元素，结果发现是未定义的，因为A矩阵中不存在第3行，因此该结果是未定义的。所以在使用矩阵过程中，一定要避免出现未定义的情况。

向量：向量是一种特殊的矩阵，因为它只有1列。可表示为$n\ast 1$的矩阵。以下就是一个4*1的矩阵，也可称为4维向量。

$$B=\left[\begin{array}{l}5\\ 6\\ 7\\ 8\end{array}\right]$$

说明：一般情况下，矩阵的下标都从1开始。除非特定情况或已经说明，矩阵的下标从0开始。

矩阵的加法/减法

矩阵和矩阵相加，首先要求两个矩阵必须是同一维度的。只有同维度的两个矩阵才能进行加法操作。比如矩阵A为32维，矩阵B为32维，此时两个矩阵可以相加；若B矩阵为2*3维，则两个矩阵不能相加。

方法：对应元素依次相加，$A_{11}+B_{11}，A_{12}+B_{12}......$。

$$A=\left[\begin{array}{lll}3& 2& 0\\ 5& 7& 9\end{array}\right]，B=\left[\begin{array}{lll}6& 11& 2\\ 7& 4& 5\end{array}\right]$$

令矩阵$C=A+B$，那么$C$为：

$$C=\left[\begin{array}{lll}3+6& 2+11& 0+2\\ 5+7& 7+4& 9+5\end{array}\right]=\left[\begin{array}{lll}9& 13& 2\\ 12& 11& 14\end{array}\right]$$

矩阵的减法和加法一样，此处就不再赘述了。

矩阵和标量的乘法/除法

矩阵和标量相乘，即就是一个矩阵和数字相乘，可表示为$k\ast A$或$A\ast k$，其中$k$为常数。这个很简单，就是用$k$和矩阵中的所有元素相乘即可。

$$A=3\ast \left[\begin{array}{ll}1& 2\\ 3& 4\end{array}\right]=\left[\begin{array}{ll}1& 2\\ 3& 4\end{array}\right]\ast 3=\left[\begin{array}{ll}1\ast 3& 2\ast 3\\ 3\ast 3& 4\ast 3\end{array}\right]=\left[\begin{array}{ll}3& 6\\ 9& 12\end{array}\right]$$

矩阵和标量的除法其实一样，即就是乘以这个标量的倒数。例如$/3，就就是\ast 1/3$。

矩阵和矩阵的乘法

两个矩阵相乘，必须满足以下规律：

第一个矩阵的列数 = 第二个矩阵的行数。
$$A=\left[\begin{array}{lll}& & \\ & m\ast n& \\ & & \end{array}\right]\ast \left[\begin{array}{lll}& & \\ & n\ast k& \\ & & \end{array}\right]=\left[\begin{array}{lll}& & \\ & m\ast k& \\ & & \end{array}\right]$$

其中第一个表示m行n列矩阵，第二个表示n行k列矩阵，则矩阵相乘得到m行k列矩阵。

方法说明：如下假设A为23维矩阵，B为33维矩阵，则我们可以知道，相乘以后的矩阵为23维，即C为23维矩阵。

$$A=\left[\begin{array}{lll}3& 2& 0\\ 5& 7& 9\end{array}\right]，B=\left[\begin{array}{lll}1& 2& 0\\ 4& 5& 5\\ 2& 8& 1\end{array}\right]$$

$$C=A\ast B=\left[\begin{array}{lll}3& 2& 0\\ 5& 7& 9\end{array}\right]\ast \left[\begin{array}{lll}1& 2& 0\\ 4& 5& 5\\ 2& 8& 1\end{array}\right]$$

分解步骤：

（1）首先将$B$矩阵分解为3个3维向量，分别为$B1,B2,B3$，则：

$$B1=\left[\begin{array}{l}1\\ 4\\ 2\end{array}\right]B2=\left[\begin{array}{l}2\\ 5\\ 8\end{array}\right]B3=\left[\begin{array}{l}0\\ 5\\ 1\end{array}\right]$$

（2）分别将A与$B1，B2，B3$相乘，注意顺序不能反：

$$A\ast B1=\left[\begin{array}{lll}3& 2& 0\\ 5& 7& 9\end{array}\right]\ast \left[\begin{array}{l}1\\ 4\\ 2\end{array}\right]=\left[\begin{array}{l}3\ast 1+2\ast 4+0\ast 2\\ 5\ast 1+7\ast 4+9\ast 2\end{array}\right]=\left[\begin{array}{l}11\\ 51\end{array}\right]$$

$$A\ast B2=\left[\begin{array}{lll}3& 2& 0\\ 5& 7& 9\end{array}\right]\ast \left[\begin{array}{l}2\\ 5\\ 8\end{array}\right]=\left[\begin{array}{l}3\ast 2+2\ast 5+0\ast 8\\ 5\ast 2+7\ast 5+9\ast 8\end{array}\right]=\left[\begin{array}{l}16\\ 117\end{array}\right]$$

$$A\ast B3=\left[\begin{array}{lll}3& 2& 0\\ 5& 7& 9\end{array}\right]\ast \left[\begin{array}{l}0\\ 5\\ 1\end{array}\right]=\left[\begin{array}{l}3\ast 0+2\ast 5+0\ast 1\\ 5\ast 0+7\ast 5+9\ast 1\end{array}\right]=\left[\begin{array}{l}10\\ 44\end{array}\right]$$

（3）将3个矩阵合并，分别为矩阵的第一列，第二列，第三列。

$$C=\left[\begin{array}{lll}11& 16& 10\\ 51& 117& 44\end{array}\right]$$

说明：由上边的例子可以看出来，矩阵C的第1行第1列元素就是矩阵A中第1行所有元素与矩阵B中第1列所有元素一一对应相乘，然后相加。其余同理。

矩阵乘法的特性
（1）矩阵乘法不满足交换律，即$A\ast B\ne B\ast A$，在绝大多数情况下都不可以。

假设$A$为32维矩阵，$B$维23维矩阵，那么$A\ast B$为33维矩阵；$B\ast A$为22维矩阵。明显这两个的结果是不同的。

（2）矩阵乘法满足结合律，即$A\ast B\ast C=(A\ast B)\ast C=A\ast (B\ast C)$。

单位矩阵

单位矩阵肯定是一个方阵，即行数和列数一样，是一个$n\ast n$维的矩阵(n>=2)。单位矩阵常用$I$表示。

单位矩阵的特性：AI = IA = A （假设$A$为32维矩阵，则第一个$I$默认为22维，第二个$I$默认为3*3维）。

表示形式（只有对角线位置为1，其余元素均为0）：

$$I=\left[\begin{array}{lll}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]，I=\left[\begin{array}{ll}1& 0\\ 0& 1\end{array}\right]$$

逆矩阵

一个矩阵的逆矩阵乘以该矩阵，结果为单位矩阵。表示为$A^{-1}$，关系为：

$$A\cdot A^{-1}=A^{-1}\cdot A=I$$

假设矩阵：$$A=\left[\begin{array}{ll}1& 3\\ 2& 4\end{array}\right]$$

则A的逆矩阵为：

$$A^{-1}=\left[\begin{array}{ll}-2& 1.5\\ 1& -0.5\end{array}\right]$$

大家可以计算一下它们的乘积，看是不是为单位矩阵，此处就不再计算。逆矩阵的计算方法在Octave或Matlab中可以使用$pinv()$函数来进行计算。

转置矩阵

转置矩阵即就是将矩阵的第n行变成按顺序第n列。

假设矩阵A的转置矩阵为B，则满足关系：$B_{ij}=A_{ji}$。

假设矩阵：$$A=\left[\begin{array}{ll}1& 3\\ 2& 4\end{array}\right]$$

则转置矩阵：$$B=\left[\begin{array}{ll}1& 2\\ 3& 4\end{array}\right]$$

可以看出，A的第一行变成了B的第一列，A的第二行变成了B的第二列。且满足$B_{ij}=A_{ji}$。

$$A_{11}=1，B_{11}=1$$

$$A_{21}=2，B_{12}=2$$