机器学习（三）矩阵的运算及性质

---

Log

2022.01.01感觉寒假的事要多起来了，赶紧抽时间学习
2022.01.02像是在复习大一时候学的线性代数与几何，一些学过的技巧方法记法都可以写进去补充一下

---

一、矩阵和向量（matrix&vectors）

基本概念

• 矩阵（matrix）： 由数字组成的矩形阵列（Rectangular array of numbers），写在方括号内（二维数组的一种表示方式）。
• 维数（Dimension of matrix）： 行数（rows）乘列数（columns）。
  $$\begin{gathered} A=\left[\begin{array}{cc}1402& 1328\\ 793& 1277\\ 975& 894\\ 1434& 1491\end{array}\right] \\ 4\times 2matrix \\ {R}^{4\times 2} \end{gathered}$$
  $$\begin{gathered} \text{Matrix Elements}(entriesofmatrix) \\ {A}_{ij}=“i,jentry"inthe{i}^{th}row,j^{th}column \end{gathered}$$
• 向量（vector）： 只有一列的矩阵，例如下面的四维向量。
  $$\begin{gathered} 4-dimensionalvector \\ {R}^4 \\ \begin{array}{rl}y& =\left[\begin{array}{c}123\\ 543\\ 362\\ 485\end{array}\right]\\ & \\ y_i& =i^{th}elemrnt\end{array} \end{gathered}$$
  $$\begin{gathered} 1-indexedvs0-indexed \\ y=\left[\begin{array}{c}{y}_1\\ y_2\\ y_3\\ y_4\end{array}\right]y=\left[\begin{array}{c}{y}_0\\ y_1\\ y_2\\ y_3\end{array}\right] \end{gathered}$$
• 一般来说，用大写字母表示矩阵，用小写字母表示数字或向量。

二、矩阵运算

1.矩阵加法和减法（Matrix Addition and Subtraction）

• 矩阵加法两个矩阵必须要行列相等

$$\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\\ a_{31}& a_{32}\\ a_{41}& a_{42}\end{array}\right]+\left[\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\\ b_{31}& b_{32}\\ b_{41}& b_{42}\end{array}\right]=\left[\begin{array}{cc}{a}_{11}+b_{11}& a_{12}+b_{12}\\ a_{21}+b_{21}& a_{22}+b_{22}\\ a_{31}+b_{31}& a_{32}+b_{32}\\ a_{41}+b_{41}& a_{42}+b_{42}\end{array}\right]$$

2.标量乘法（Scalar Multiplication）

• 标量在这里指的是实数
  $$\begin{gathered} k\times \left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\\ a_{31}& a_{32}\\ a_{41}& a_{42}\end{array}\right]=\left[\begin{array}{cc}k{a}_{11}& k{a}_{12}\\ k{a}_{21}& k{a}_{22}\\ k{a}_{31}& k{a}_{32}\\ k{a}_{41}& k{a}_{42}\end{array}\right] \\ \left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\\ a_{31}& a_{32}\\ a_{41}& a_{42}\end{array}\right]/k=\frac{1}{k}\times \left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\\ a_{31}& a_{32}\\ a_{41}& a_{42}\end{array}\right] \end{gathered}$$

3.矩阵乘法（Matrix Multiplication）

• 要点：
  • 方法：左行乘右列
  • 前提：左列等右行
    $$\begin{gathered} A\times B=C \\ A:i\times k \\ B:k\times j \\ C:i\times j \\ {c}_{ij}=a_{i1}\ast b_{1j}+...+a_{ik}\ast b_{kj} \end{gathered}$$
• 应用：

$$\begin{gathered} Housesizes: \\ 2104 \\ 1416 \\ 1534 \\ 852 \\ {h}_{\theta }(x)=-40+0.25x \end{gathered}$$

• 通过矩阵向量相乘计算结果：
  $$\left[\begin{array}{cc}1& 2104\\ 1& 1416\\ 1& 1534\\ 1& 852\end{array}\right]\times \left[\begin{array}{c}-40\\ 0.25\end{array}\right]=\left[\begin{array}{c}\begin{array}{rl}-40& \times 1+0.25\times 2104\\ -40& \times 1+0.25\times 1416\\ -40& \times 1+0.25\times 1534\\ -40& \times 1+0.25\times 852\end{array}\end{array}\right]$$
• 当有3个假设函数时
  $$\begin{gathered} Housesizes: \\ 2104 \\ 1416 \\ 1534 \\ 852 \\ \begin{array}{rl}1.h_{\theta }(x)& =-40+0.25x\\ 2.h_{\theta }(x)& =200+0.1x\\ 3.h_{\theta }(x)& =-150+0.4x\end{array} \end{gathered}$$
• 变为矩阵乘法计算结果：
  $$\left[\begin{array}{cc}1& 2104\\ 1& 1416\\ 1& 1534\\ 1& 852\end{array}\right]\times \left[\begin{array}{ccc}-40& 200& -150\\ 0.25& 0.1& 0.4\end{array}\right]=\left[\begin{array}{ccc}486& 410& 692\\ 314& 342& 416\\ 344& 353& 464\\ 173& 285& 191\end{array}\right]$$

三、矩阵乘法的特性（properties）

• 矩阵乘法不满足交换律（commutative property），即：
  $$A\times B\ne B\times A$$
• 矩阵乘法满足结合律（associative property），即：
  $$A\times (B\times C)=(A\times B)\times C$$
• 单位矩阵（Identity Matrix）： 可以看做是单位元，对角线都是1。
  $$\begin{gathered} A_{m\times n}\cdot I_{n\times n}=I_{m\times m}\cdot A_{m\times n}=A_{m\times n} \\ {I}_{n\times n}=\left[\begin{array}{ccccc}1& 0& 0& ...& 0\\ 0& 1& 0& ...& 0\\ 0& 0& 1& ...& 0\\ ...& ...& ...& ...& ...\\ 0& 0& 0& ...& 1\end{array}\right] \\ n\times n \end{gathered}$$

四、矩阵的特殊运算（operations）

1.矩阵的逆运算（matrix inverse operation）

• 逆矩阵： 对于一个m阶（m×m）矩阵A（又叫方阵square），如果存在一个m阶矩阵B，满足以下性质，则称B为A的逆矩阵，记作A^(-1)。
  $$\begin{array}{rlr}AB& =BA& =I\\ 即A{A}^{-1}& =A^{-1}A& =I\end{array}$$
• 例如：
  $$\underset{A}{\underbrace{\left[\begin{array}{cc}3& 4\\ 2& 16\end{array}\right]}}\times \underset{A^{-1}}{\underbrace{\left[\begin{array}{cc}0.4& -0.1\\ -0.05& 0.075\end{array}\right]}}=\underset{A{A}^{-1}}{\underbrace{\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]}}=I_{2\times 2}$$
• 奇异矩阵（singular matrix）： 即不存在逆矩阵的矩阵，又叫退化矩阵（degenerate matrix）。
• 求矩阵的逆：
  • 可以手算，但是通过软件会更容易一些
  • 下面用Octave软件演示一下

使用Octave计算矩阵的逆

1. 打开Octave软件（CLI或者GUI都行，咱这里用的是图形界面）
   

2. 定义一个矩阵A：A = [ 3 4; 2 16]
   

3. 输入计算逆矩阵的语句：pinv(A)
   就得到了逆矩阵
   

4. 自定义矩阵inverseOFA并赋值为A的逆 ：inverseOFA = pinv(A)
   

5. 验证相乘结果为单位矩阵：A * inverseOFA
   
   可见主对角线上的元素均为1，由于计算机运算精度问题，其他元素并不为零，但是都是在e-16、e-17（10的指数幂）数量级上，可以近似看做0。

2.矩阵的转置运算（matrix transpose operation）

• 矩阵的转置： 对于一个矩阵A，定义一个矩阵B，满足以下性质，则称B为A的转置，记作A^(T)或A’。
  $$\begin{gathered} b_{ij}=a_{ji} \\ B=A^T \end{gathered}$$

总结

• 本文简单的复习了一下机器学习中用到的一些关于矩阵的基本知识，包括矩阵的加法乘法、逆运算、转置等，同时也简单的介绍了一下如何使用Octave计算矩阵的逆。