线性代数——矩阵及其运算

矩阵的基本概念

$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$$

• 矩阵：m行n列的数表，a_ij代表第i行第j列的元素。
• 方阵：m=n的矩阵。
• 行向量：m=1的矩阵。$\left(\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}\right)$
• 列向量：n=1的矩阵。$\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_m\end{array}\right]$
• 矩阵相等：形状相同，对应元素相等。
• 零矩阵：所有元素都是0的矩阵。
• 单位矩阵：对角线元素为1，其余元素为0的矩阵，通常用E或I表示。单位矩阵一定是方阵。
• 对角矩阵：除对角线外其余元素都是0，记为$diag\left(\begin{array}{cccc}{\lambda }_1& {\lambda }_2& \cdots & {\lambda }_n\end{array}\right)$

矩阵的意义

• 矩阵是一种阵列的表示，如图像、线性变换等。
• 图像可以用矩阵表示，每个像素是0到255的数字，对应矩阵的一个元素。
• $$\{\begin{array}{l}{y}_1=a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n\\ y_2=a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n\\ \cdots \cdots \\ y_m=a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n\end{array}$$表示一个从变量x₁，x₂，…，x_m到变量y₁，y₂，…，y_m的线性变换，系数a_ij构成矩阵。

矩阵的基本运算(加，减，乘)

矩阵加（减）法

• 条件：同型矩阵
• 规则：对应元素相加（减），c_ij = a_ij + b_ij
• 性质：
  交换律：A + B = B + A
  结合律：A + B + C = A + (B + C)

矩阵数乘

• 数λ与矩阵A的乘积，记作λA或Aλ。
• 规则：λ与每个元素相乘，c_ij = λa_ij
• 性质（λ与μ是数，A与B是同型矩阵）：
  λA = Aλ
  (λμ)A = λ(μA)
  (λ + μ)A = λA + μA
  λ(A + B) = λA + λB

矩阵乘法

• 条件：A_m×s，B_s×n
• 规则：$c_{ij}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{is}{b}_{sj}={\sum }_{k=1}^s{a}_{ik}{b}_{kj}$，乘积C是m×n矩阵。
• 性质：
  不满足交换律，即AB ≠ BA
  (AB)C = A(BC)
  λ(AB) = (λA)B = A(λB)，λ为数
  A(B + C) = AB + AC
  (B + C)A = BA + CA
  EA = AE = A，即单位矩阵在矩阵乘法中的作用类似于数1。

矩阵的迹(方阵)

• $tr(A)=\sum a_{ii}$，即矩阵的迹等于对角线元素的和。
• tr(AB) = tr(BA)，其中，A_m×n，B_n×m
  证明：
  $tr(AB)=tr(C)={\sum }_{i=1}^m{c}_{ii}={\sum }_{i=1}^m{\sum }_{j=1}^n{a}_{ij}{b}_{ji}$
  $tr(BA)=tr(\bar{C})={\sum }_{i=1}^n{\bar{c}}_{ii}={\sum }_{i=1}^n{\sum }_{j=1}^m{b}_{ij}{a}_{ji}={\sum }_{j=1}^n{\sum }_{i=1}^m{b}_{ji}{a}_{ij}={\sum }_{i=1}^m{\sum }_{j=1}^n{a}_{ij}{b}_{ji}=tr(AB)$

矩阵的转置

• A的转置记作A^T
• a^T_ij = a_ji
• 性质：
  (A^T)^T = A
  (A + B)^T = A^T + B^T
  (λA)^T = λA^T
  (AB)^T = B^TA^T
• 若X是n维行向量，Y是n维列向量，则X^TY = Y^TX
  证明：
  $X^{T}Y=\left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right)\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n=k,(k是一个数)$
  $Y^{T}X=(Y^{T}X{)}^T=X^{T}Y$

对称矩阵(方阵)

• A为n阶方阵，若A^T = A，即a_ij = a_ji，则A为对称矩阵。
• 特点：元素以对角线为对称轴，对应相等。
• 【例1】设列向量X = (x₁,x₂,…,x_n)^T，满足X^TX = 1，E为n阶单位阵，H = E - 2XX^T，证明H是对称阵，且HH^T = E.
  证：
  $H^T=(E-2X{X}^T{)}^T=E^T-(2X{X}^T{)}^T=E-2(X{X}^T{)}^T=E-2X{X}^T=H$
  $H{H}^T=HH=(E-2X{X}^T)(E-2X{X}^T)=E\cdot E-2X{X}^T-2X{X}^T+4X{X}^{T}X{X}^T=E-4X{X}^T+4X(X^{T}X)X^T=E-4X{X}^T+4X{X}^T=E$

Numpy实现矩阵运算

• 与ndarray的操作基本相同

Numpy构造矩阵 np.mat

import numpy as np

m1 = np.mat([[1, 2, 3],
             [4, 5, 6],
             [7, 8, 9]])
a = np.diag([1, 2, 3])    # 对角阵
m2 = np.mat(a)  # 是映像，不是副本
m2[0, 0] = 100  # 不能用m2[0][0]
print(m1)
print(m2)

[[1 2 3]
 [4 5 6]
 [7 8 9]]
[[100   0   0]
 [  0   2   0]
 [  0   0   3]]

Numpy实现矩阵加（减）法

• 对应元素相加

print(m1 + m2)

[[101   2   3]
 [  4   7   6]
 [  7   8  12]]

Numpy实现矩阵乘法

矩阵数乘

print(2*m1)

[[ 2  4  6]
 [ 8 10 12]
 [14 16 18]]

对应元素相乘 np.multiply

print(np.multiply(m1, m2))

[[100   0   0]
 [  0  10   0]
 [  0   0  27]]

矩阵乘法 *

print(m1 * m2)    # *对矩阵执行矩阵乘法运算，对ndarray执行对应位置相乘

[[100   4   9]
 [400  10  18]
 [700  16  27]]

numpy实现矩阵转置 m.T

print(m1.T)

[[1 4 7]
 [2 5 8]
 [3 6 9]]