数学基础 -- 线性代数之向量基本概念

向量的基本概念

向量是一个具有大小（长度）和方向的数学对象，通常用于表示空间中的位置、速度、力等物理量。向量的基本概念包括：

向量的表示

• 图形表示：向量用箭头表示，箭头的长度代表大小，方向代表方向。
• 坐标表示：
  • 在二维空间中，向量 $\mathbf{v}$ 表示为 $(v_x,v_y)$。
  • 在三维空间中，向量 $\mathbf{v}$ 表示为 $(v_x,v_y,v_z)$。

向量的运算

• 加法：$\mathbf{c}=\mathbf{a}+\mathbf{b}$，其中 $\mathbf{c}$ 的分量是 $(a_x+b_x,a_y+b_y,a_z+b_z)$。
• 减法：$\mathbf{c}=\mathbf{a}-\mathbf{b}$，其中 $\mathbf{c}$ 的分量是 $(a_x-b_x,a_y-b_y,a_z-b_z)$。
• 标量乘法：$k\mathbf{a}$ 的分量是 $(k{a}_x,k{a}_y,k{a}_z)$。
• 点积（内积）：$\mathbf{a}\cdot \mathbf{b}=a_x{b}_x+a_y{b}_y+a_z{b}_z$。
• 叉积（外积）：在三维空间中，$\mathbf{a}\times \mathbf{b}$ 是一个垂直于 $\mathbf{a}$ 和 $\mathbf{b}$ 的向量，其大小为 $|\mathbf{a}\times \mathbf{b}|=|\mathbf{a}||\mathbf{b}|\sin (\theta )$。

向量的性质

• 大小（模）：$\Vert \mathbf{v}\Vert =\sqrt{v_x^2+v_y^2+v_z^2}$。
• 单位向量：长度为1的向量，$\mathbf{u}=\frac{\mathbf{v}}{\Vert \mathbf{v}\Vert }$。
• 零向量：所有分量均为零的向量。

向量的应用

• 物理：描述力、速度、加速度等。
• 计算机图形学：表示图像中点的位置、光线的方向等。
• 工程：描述力学系统、结构分析等。

范数与内积

范数（Norm）

范数是一个函数，将向量映射到非负实数，表示向量的“大小”或“长度”。常见的范数包括：

• 欧几里得范数（L2范数）：
  $$\Vert \mathbf{v}{\Vert }_2=\sqrt{v_x^2+v_y^2+v_z^2}$$
  在二维空间中：
  $$\Vert \mathbf{v}{\Vert }_2=\sqrt{v_x^2+v_y^2}$$

• 曼哈顿范数（L1范数）：
  $$\Vert \mathbf{v}{\Vert }_1=|v_x|+|v_y|+|v_z|$$
  在二维空间中：
  $$\Vert \mathbf{v}{\Vert }_1=|v_x|+|v_y|$$

• 无穷范数（L∞范数）：
  $$\Vert \mathbf{v}{\Vert }_{\infty }=\max (|v_x|,|v_y|,|v_z|)$$
  在二维空间中：
  $$\Vert \mathbf{v}{\Vert }_{\infty }=\max (|v_x|,|v_y|)$$

内积（Dot Product）

内积是两个向量之间的代数运算，结果是一个标量，表示两个向量的相似度或投影。

• 定义：
  $$\mathbf{a}\cdot \mathbf{b}=a_x{b}_x+a_y{b}_y+a_z{b}_z$$
  在二维空间中：
  $$\mathbf{a}\cdot \mathbf{b}=a_x{b}_x+a_y{b}_y$$

• 几何解释：
  $$\mathbf{a}\cdot \mathbf{b}=\Vert \mathbf{a}\Vert \Vert \mathbf{b}\Vert \cos (\theta )$$
  其中 $\theta$ 是两个向量之间的夹角。

• 正交性：如果 $\mathbf{a}\cdot \mathbf{b}=0$，则 $\mathbf{a}$ 和 $\mathbf{b}$ 正交。

范数与内积的关系

• 欧几里得范数：
  $$\Vert \mathbf{v}{\Vert }_2=\sqrt{\mathbf{v}\cdot \mathbf{v}}$$

子空间上的投影

子空间上的投影是线性代数中的一个重要概念，用于将一个向量在一个子空间上进行“投影”，即找到该向量在子空间中的最佳逼近。

正交投影

如果子空间 $U$ 是正交的（即 $U$ 的所有向量彼此正交），则：

1. 正交基：找到子空间 $U$ 的正交基 { u 1 , u 2 , … , u k } \{\mathbf{u}_1, \mathbf{u}_2, \ldots, \mathbf{u}_k\} {u1​,u2​,…,uk​}。
2. 投影公式：
   $$\mathbf{p}=\sum _{i=1}^k\frac{\mathbf{v}\cdot {\mathbf{u}}_i}{{\mathbf{u}}_i\cdot {\mathbf{u}}_i}{\mathbf{u}}_i$$

投影矩阵

给定子空间 $U$ 的基向量矩阵 $A$，投影矩阵 $P$ 为：
$$P=A(A^{T}A{)}^{-1}{A}^T$$
投影结果为：
$${\text{Proj}}_U(\mathbf{v})=P\mathbf{v}$$

投影性质

• 最小距离：投影向量使得原向量与子空间的距离最小。
• 正交：$\mathbf{v}-{\text{Proj}}_U(\mathbf{v})$ 与子空间正交。
• 线性：投影操作是线性的。

应用

• 数据降维：例如主成分分析（PCA）。
• 计算机图形学：将三维场景投影到二维视图平面。