线性代数 | 向量、矩阵

---

1. 线性代数的动机

• 向量空间是对现实空间进行一定程度抽象化的产物；
• 对于一组数据，将其诠释为高维空间中的点，就可以利用对空间的直观感受理解数据的行为；
• 线性代数的研究对象从图像的角度来看，是平面、直线等线性对象，但这些线性对象在一定程度上可以近似非线性对象；

---

2. 向量

• 向量的维数概念就是向量的分量个数；

向量上的运算：

• 加法；
• 数乘/标量乘法；

基底

• 对于一个原始的空间，例如直线、平面、超平面，其本身并没有上下左右的概念；
• 对于一个原始的空间，即使没有准确的刻度与方向，我们仍然可以定义加法与数乘；
• （只需）定义加法与数乘的空间被称为线性空间/向量空间；
• 朴素的线性空间没有长度与角度，所以无法进行大小的比较或者旋转操作；
• 朴素的线性空间没有定义坐标系，所以所有会因为坐标系的变换而改变的操作都不会存在（例如内积）；

---

• 在n维空间中选定n个n维向量就通过加法与数乘给出空间中其它向量位置的确定描述，这n个向量称为基向量，这一组向量称为基底，其上的数乘系数称为坐标；
• 坐标只是对一个向量的描述，不同基底下不同的坐标并不影响向量本身作为有向线段的实体；
• 基底定义的坐标可以是倾斜的，但不能是弯曲的；
• 空间中的任意向量都可以使用基底的线性组合表示，并且这种线性组合是唯一的；
• 空间可以看成是由基底张成的；

---

3. 矩阵

• 矩阵运算不改变线性关系，即：
  $ax+by=cz,则a(Ax)+b(Ay)=c(Az);$
  实际上，矩阵就是线性映射，对于线性映射的定义如下：
  $f:f(x+y)=f(x)+f(y),f(cx)=cf(x);$

• 关于矩阵就是映射，对于一个m×n的矩阵，输入一个n维向量，即可得到一个m维向量，这就是一种映射，而这种映射内部只是简单的相加，没有规模效应或者协同效应；

• 进一步讲，m×n维矩阵就是将一个n维向量映射为一个m维向量；这个过程中：
  • 原点保持不变；
  • 直线经过映射依然是直线；
  • 平行线经过映射依然是平行线；
• 矩阵乘积本质上是合成多个映射；将A、B连续作用到一个向量的效果与将（BA）直接作用到一个向量的效果相同；

---

• 由于矩阵乘法不满足交换律，所以在进行两个矩阵的乘方运算时需要特别注意，例如
  $(AB{)}^2=ABAB而非A^2{B}^2$

---

一些特殊矩阵

• 零矩阵：将所有点都映射到原点的映射（将向量压缩为一个点）；
• 单位矩阵：将向量映射为其本身的映射；
• 对角矩阵：将向量沿着坐标轴方向进行伸缩的映射，其中对角元素就是各轴伸缩的倍率；

---

逆矩阵

• 逆矩阵对应的就是逆映射；
  $Ax=y\to A^{-1}y=x$

• 当一个变换将向量压缩为一个点（这样的变换/映射不一定是零矩阵）时，其逆映射不存在，即其逆矩阵也不存在；

• 有了逆矩阵就是逆映射这一点，我们可以很轻松的记忆下面这些运算性质：

  • (A^-1)^-1 = A：A的逆映射的逆映射是A；
  • (AB)^-1 = B^-1A^-1：对于变换AB，由于B先作用、A后作用，求其逆变换时，要先进行A的逆变换、再进行B的逆变换；
  • (A^k)^-1=(A^-1)^k：结果k次映射A，其逆映射当然也要结果k次A的逆映射；

• 对于对角矩阵，当其中某个分量为0时，逆矩阵不存在（某个值可以伸缩到0，但0无法伸缩为某个值）；否则有：
  $diag(a_1,......,a_n{)}^{-1}=diag(\frac{1}{a_1},......,\frac{1}{a_n});$

---

分块矩阵

• 对于分块矩阵，加法与数乘运算无需注意，但乘法运算的顺序需要注意；
• 一种特殊的分块是将矩阵分为列向量，列向量的本质是各个坐标轴方向上的单位向量结果映射后到达的目标点；
• 分块对角矩阵：分块矩阵的主对角线上的区块都是方阵，并且非对角线上的矩阵都是零矩阵，则称这样的矩阵为分块对角矩阵；
• 分块矩阵的映射意义：分块对角矩阵对应的映射由多个独立的变换组成，其中每个变换对应一个区块；
• 分块矩阵的乘方与求逆运算等价于对主对角线上子矩阵的运算；