自然语言处理学习笔记-lecture2-数学基础3-线性代数

线性代数

向量

$n$个有次序的数$a_1,a_2,...,a_n$所组成的数组称为$n$维向量。这$n$个数称为该向量的$n$个分量，第$i$个数$a_i$称为第$i$个分量。向量通常表示为:
$$a=(a_1,a_2,\cdots ,a_n)$$
向量的模也称为向量的大小，定义如下:
$$||a||=\sqrt{a_1^2+\cdots +a_n^2}$$
给定两个$n$维向量$a=(a_1,...,a_n)$和$b=(b_1,...,b_n)$，主要运算公式如下:

• 加法:$a+b=(a_1+b_1,...,a_n+b_n)$
• 与数的乘法:设$\lambda$是一个实数，则$\lambda a=(\lambda a_1,...,\lambda a_n)$
• 内积:$a\cdot b={\sum }_{i=1}^N{a}_i{b}_i$
• 元素级乘法:$a\circ b=(a_1{b}_1,\cdots ,a_n{b}_n)$

矩阵

由$m\times n$个数$a_{ij}(i=1,...,m;j=1,...,n)$排成的$m$行$n$列的数表称为$m\times n$ 矩阵，记作
$$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$$
这$m\times n$个数称为矩阵$A$的元素。行数和列数都等于$n$的矩阵称为$n$阶方阵。只有一行的矩阵称为行向量:
$$A=(a_1,a_2,\cdots ,a_n)$$
只有一列的矩阵称为列向量:
$$A=\left(\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_m\end{array}\right)$$

矩阵的加法

设有两个$m\times n$矩阵$A=(a_{ij})$和$B=(b_{ij})$，那么矩阵$A$和$B$的和记为:
$$A+B=\left(\begin{array}{cccc}{a}_{11}+b_{11}& a_{12}+b_{12}& \cdots & a_{1n}+b_{1n}\\ a_{21}+b_{21}& a_{22}+b_{22}& \cdots & a_{2n}+b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}+b_{m1}& a_{m2}+b_{m2}& \cdots & a_{mn}+b_{mn}\end{array}\right)$$
需要注意，只有两个矩阵的行数和列数相同时，才可以进行加法运算。
设$A、B$和$C$都是$m\times n$矩阵，则矩阵加法满足以下运算律:

• 交换律:$A+B=B+A$。
• 结合律:$(A+B)+C=A+(B+C)$

数与矩阵的乘法

实数$\lambda$与矩阵$A$的乘积记作$\lambda A$或$A\lambda$，计算如下:
$$\lambda A=A\lambda =\left(\begin{array}{cccc}\lambda a_{11}& \lambda a_{12}& \cdots & \lambda a_{1n}\\ \lambda a_{21}& \lambda a_{22}& \cdots & \lambda a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ \lambda a_{m1}& \lambda a_{m2}& \cdots & \lambda a_{mn}\end{array}\right)$$
设$A$和$B$为$m\times n$矩阵，$\lambda$和$\mu$为实数，则数与矩阵的乘法满足以下规律:

• $(\lambda \mu )A=\lambda (\mu A)$
• $(\lambda +\mu )A=\lambda A+\mu A$
• $\lambda (A+B)=\lambda A+\lambda B$

矩阵与矩阵相乘

设$A$是一个$m\times s$矩阵，$B$是一个$s\times n$矩阵，那么矩阵$A$与矩阵$B$的乘积是 一个$m\times n$矩阵$C=AB$，其中:
$$c_{ij}=\sum _{k=1}^s{a}_{ik}{b}_{kj}$$
其中，$a_{ik}$是矩阵$A$的元素，$b_{kj}$是矩阵$B$的元素，$c_{ij}$是矩阵$C$的元素。注意，当且仅当左矩阵的列数等于右矩阵的行数时，两个矩阵才能相乘。

矩阵的转置

把矩阵$A$的行换成同序数的列得到一个新矩阵，称为$A$的转置矩阵，记作 $A^T$。
矩阵的转置满足下述运算规律:

• $(A^T{)}^T=A$
• $(A+B{)}^T=A^T+B^T$
• $(\lambda A{)}^T=\lambda A^T$
• $(AB{)}^T=B^T{A}^T$

方阵的行列式

由$n$阶方阵$A$的元素所构成的行列式，称为方阵$A$的行列式，记作 $|A|$ 或 $detA$。给定一个两行两列的方阵，其行列式计算公式为:
$$A=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)|A|=detA=\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=a_{11}{a}_{22}-a_{12}{a}_{21}$$

三行行列式

三行三列的方阵的行列式的计算更复杂一些，基本规律是先按照正向 (即从上方往右下方)对角线求和，再按照反向(即从上方往左下方) 对角线求和，最后计算两者之差。
$$\begin{gathered} \left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right| \\ \begin{array}{rl}=& +a_{11}{a}_{22}{a}_{33}-a_{11}{a}_{23}{a}_{32}\\ & -a_{12}{a}_{21}{a}_{33}+a_{12}{a}_{23}{a}_{31}\\ & +a_{13}{a}_{21}{a}_{32}-a_{13}{a}_{22}{a}_{31}\end{array} \end{gathered}$$

逆矩阵

对于$n$阶矩阵$A$，如果有一个$n$阶矩阵$B$
$$AB=BA=E$$
则说矩阵$A$是可逆的，并把矩阵$B$称为$A$的逆矩阵。$A$的逆矩阵通常记为 $A^{-1}$。对于可逆矩阵，有以下性质:

• 如果矩阵$A$是可逆的，那么$A$的逆矩阵是唯一的。
• 如果矩阵 $A$可逆，则$|A|\ne 0$。
• 如果$AB=E$或$BA=E$，则$B=A^{-1}$。
• 如果$A$可逆，则$A^{-1}$亦可逆，且$(A^{-1}{)}^{-1}=A$。
• 如果$A$和$B$为同阶矩阵且均可逆，则$AB$亦可逆，且$(AB{)}^{-1}=B^{-1}{A}^{-1}$。

矩阵的初等变换

给定一个矩阵，以下三种变换称为初等行变换:

• 对调第$i$行和第$j$行，记作$r_i\leftrightarrow r_j$。
• 第$i$行的所有元素乘以实数$k$，记作$k{r}_i$。
• 把第$j$行所有元素的$k$倍加到第$i$行对应的元素上，记作$r_i+k{r}_j$。

同理，可以定义矩阵的初等列变换:

• 对调第$i$列和第$j$列，记作$c_i\leftrightarrow c_j$。
• 第$i$列的所有元素乘以实数$k$，记作$k{c}_i$。
• 把第$j$列所有元素的$k$倍加到第$i$列对应的元素上，记作$c_i+k{c}_j$。

标准型与矩阵的秩

对于$m\times n$矩阵$A$，总可以经过初等行变换和列变换将其化简为以下形式:
$$F=\left(\begin{array}{cc}{E}_r& O\\ O& O\end{array}\right)$$
其中，$E_r$表示维度为$r$的单元方阵，$O$表示元素全为$0$的矩阵。$F$称为标准形，$r$称为矩阵的秩。

方阵的特征值和特征向量

设$A$是$n$阶矩阵，如果存在实数$\lambda$和$n$维非零列向量$x$使得以下等式成立:
$$Ax=\lambda x$$
则称$\lambda$是矩阵$A$的特征值，非零向量$x$为$A$的对应于特征$\lambda$的特征向量。