什么是线性变换

什么是线性变换？

线性变换（Linear Transformation）是一种数学变换，用于将一个向量空间中的向量映射到另一个向量空间，同时保持加法和标量乘法的性质。这是线性代数中的核心概念之一，在机器学习、深度学习和计算机图形学等领域具有重要应用。

简单来说，线性变换可以通过矩阵乘法来表示，它的作用通常是对向量进行缩放、旋转或投影等操作。

---

线性变换的定义

给定两个向量空间 $V$ 和 $W$，一个映射 $T$ 是线性变换，当且仅当满足以下两个条件：

1. 加法封闭性：
   对于 $\mathbf{u},\mathbf{v}\in V$，有：
   $$T(\mathbf{u}+\mathbf{v})=T(\mathbf{u})+T(\mathbf{v})$$

2. 标量乘法封闭性：
   对于 $\mathbf{u}\in V$ 和任意标量 $c\in \mathbb{R}$，有：
   $$T(c\mathbf{u})=cT(\mathbf{u})$$

如果映射 $T$ 满足上述两个条件，则 $T$ 是一个线性变换。

---

线性变换的矩阵表示

在实际应用中，线性变换通常表示为矩阵 $A$ 作用于向量 $\mathbf{x}$：
$$T(\mathbf{x})=A\mathbf{x}$$
其中：

• $\mathbf{x}\in {\mathbb{R}}^n$ 是输入向量。
• $T(\mathbf{x})\in {\mathbb{R}}^m$ 是输出向量。
• $A\in {\mathbb{R}}^{m\times n}$ 是线性变换矩阵。

矩阵 $A$ 决定了线性变换的具体性质，例如是否是缩放、旋转或投影。

---

常见的线性变换

1. 缩放（Scaling）

   • 将向量的长度按比例放大或缩小，但保持方向不变。
   • 矩阵形式：
     $$A=\left[\begin{array}{cc}{s}_x& 0\\ 0& s_y\end{array}\right]$$
   • 示例：
     $$T(\mathbf{x})=\left[\begin{array}{cc}2& 0\\ 0& 3\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}2x_1\\ 3x_2\end{array}\right]$$

2. 旋转（Rotation）

   • 将向量绕原点旋转一定角度。
   • 矩阵形式（以 2D 为例）：
     $$A=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$$
   • 示例：
     将向量 $\mathbf{x}=[1,0{]}^{\top }$ 逆时针旋转 90°：
     $$A=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$$

3. 投影（Projection）

   • 将向量投影到某个子空间上，例如一条直线或一个平面。
   • 矩阵形式（投影到单位向量 $\mathbf{n}$ 上）：
     $$A=\mathbf{n}{\mathbf{n}}^{\top }$$

4. 反射（Reflection）

   • 将向量关于某条直线或平面对称反射。
   • 矩阵形式：
     $$A=I-2\mathbf{n}{\mathbf{n}}^{\top }$$
     其中 $\mathbf{n}$ 是反射平面的单位法向量。

5. 剪切（Shear）

   • 将向量沿某个方向倾斜。
   • 矩阵形式（以 2D 为例）：
     $$A=\left[\begin{array}{cc}1& k\\ 0& 1\end{array}\right]$$

---

线性变换的性质

1. 保持原点：
   线性变换始终将原点 $0$ 映射到原点：
   $$T(0)=A0=0$$

2. 保持直线性：
   线性变换会将直线映射为直线。

3. 组合性：
   多个线性变换的组合仍然是一个线性变换。假设有两个变换 $T_1(\mathbf{x})=A_1\mathbf{x}$ 和 $T_2(\mathbf{x})=A_2\mathbf{x}$，则组合变换 $T_2(T_1(\mathbf{x}))$ 可以用矩阵乘法表示：
   $$T_2(T_1(\mathbf{x}))=A_2(A_1\mathbf{x})=(A_2{A}_1)\mathbf{x}$$

4. 可逆性：
   如果矩阵 $A$ 是非奇异的（即 $\det (A)\ne 0$），则线性变换是可逆的，且逆变换为：
   $$T^{-1}(\mathbf{y})=A^{-1}\mathbf{y}$$

---

线性变换与深度学习

在线性代数中，线性变换被用来描述矢量之间的映射。在深度学习中，线性变换扮演着重要角色：

1. 全连接层：
   全连接层本质上是一个线性变换，其形式为：
   $$\mathbf{y}=\mathbf{Wx}+\mathbf{b}$$
   其中：

   • $\mathbf{W}$ 是权重矩阵。
   • $\mathbf{b}$ 是偏置向量。

2. 卷积操作：
   卷积操作可以看作是线性变换在局部区域的应用。

3. 特征提取：
   在线性变换中，通过矩阵 $A$ 的特性，可以提取输入数据的特定特征，例如主成分分析（PCA）中使用的线性映射。

---

总结

线性变换是将输入向量通过矩阵映射到另一个向量空间的数学操作。它具有以下特点：

• 矩阵乘法是其核心实现形式。
• 能够完成缩放、旋转、投影等操作。
• 在深度学习中，线性变换是全连接层、卷积层的数学基础。