优化理论及应用精解【5】

线性变换

概述

线性变换是数学中一个常见的概念，特别是在线性代数中。它描述了一个向量空间到另一个向量空间（可能是同一个空间）的映射，这种映射保持了向量的加法和标量乘法的结构。简单来说，线性变换就是满足线性性质的函数。

定义

设 $V$ 和 $W$ 是两个向量空间（可能在不同的域上，但通常是在实数或复数上）。一个函数 $T:V\to W$ 被称为线性变换，如果对于 $V$ 中的任意向量 $\mathbf{u}$ 和 $\mathbf{v}$ 以及任意标量 $c$，都满足以下两个条件：

1. 可加性：$T(\mathbf{u}+\mathbf{v})=T(\mathbf{u})+T(\mathbf{v})$
2. 齐次性（或数乘性质）：$T(c\mathbf{u})=cT(\mathbf{u})$

矩阵表示

在有限维空间中，线性变换通常可以通过矩阵来表示。设 $V$ 是一个 $n$ 维向量空间，$W$ 是一个 $m$ 维向量空间，并选定这两组空间中的基。那么，任何一个线性变换 $T:V\to W$ 都可以表示为一个 $m\times n$ 的矩阵 $A$。具体来说，如果 $\mathbf{v}$ 是 $V$ 中的一个向量，其在选定基下的坐标表示为列向量 $\mathbf{x}$，那么 $T(\mathbf{v})$ 在 $W$ 的基下的坐标就是 $A\mathbf{x}$。

例子

1. 旋转：在二维空间中，一个旋转角度 $\theta$ 的线性变换可以通过矩阵

$\left(\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right)$

来表示。

2. 缩放：在二维空间中，一个沿 $x$ 轴缩放 $a$ 倍，沿 $y$ 轴缩放 $b$ 倍的线性变换可以通过矩阵

$\left(\begin{array}{cc}a& 0\\ 0& b\end{array}\right)$

来表示。

3. 投影：从三维空间到二维空间的一个投影，比如投影到 $xy$ 平面上，可以通过矩阵

$\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right)$

来表示。

性质

• 线性变换保持零向量不变，即 $T(0)=0$。
• 线性变换保持向量的线性组合不变，即如果 $\mathbf{u}$ 和 $\mathbf{v}$ 是向量，$c$ 和 $d$ 是标量，那么 $T(c\mathbf{u}+d\mathbf{v})=cT(\mathbf{u})+dT(\mathbf{v})$。
• 线性变换的逆（如果存在）也是线性的。
• 线性变换的复合（即一个接一个地应用两个线性变换）也是线性的。

详解

线性变换的定义

线性变换（linear transformation）又称为线性映射，是一种在向量空间中进行的特殊的变换。具体来说，设V和W是两个向量空间，如果存在一个映射T: V → W，满足以下两个条件：

1. 保持加法运算：对于任意向量v1和v2属于V，有T(v1 + v2) = T(v1) + T(v2)。
2. 保持标量乘法运算：对于任意向量v属于V和任意标量a，有T(av) = aT(v)。

那么，映射T就被称为从V到W的线性变换。特别地，当V和W是同一个向量空间时，T称为V上的线性变换。

线性变换的性质

线性变换具有以下性质：

1. 零元素变换：线性变换把零元素仍变为零元素，即T(0) = 0。
2. 负元素变换：线性变换把向量α的负元素-α变换为T(α)的负元素，即T(-α) = -T(α)。
3. 线性组合与线性关系式不变：线性变换保持线性组合与线性关系式不变。即如果α1, α2, …, αn是线性相关的向量组，那么T(α1), T(α2), …, T(αn)也是线性相关的向量组；反之，如果α1, α2, …, αn是线性无关的向量组，那么T(α1), T(α2), …, T(αn)可能是线性相关的，但也可能保持线性无关。
4. 秩和零度：对于线性变换T，有值域R(T)和核N(T)的概念。dimR(T)和dimN(T)分别称为T的秩和零度，且dimR(T) + dimN(T) = n（n为线性空间维数）。

线性变换的计算

线性变换可以由矩阵表示。对于一个线性变换T: V → W，可以找到一个矩阵A，使得对于任意向量v属于V，有T(v) = Av。这个矩阵A被称为线性变换的表示矩阵。通过矩阵运算，可以方便地计算线性变换的结果。

线性变换的例子

1. 恒等变换：在任意向量空间V上，定义变换I: V → V，使得对于V中的任意向量v，都有I(v) = v。则I是V上的恒等变换，也是线性变换。
2. 零变换：在任意向量空间V上，定义变换O: V → V，使得对于V中的任意向量v，都有O(v) = 0。则O是V上的零变换，也是线性变换。
3. 数乘变换：在任意向量空间V上，给定一个标量k，定义变换A: V → V，使得对于V中的任意向量v，都有A(v) = kv。则A是V上的数乘变换，也是线性变换。
4. 求导变换：在多项式空间上，定义变换D: Pn → Pn，使得对于任意多项式f(x)，都有D(f(x)) = f’(x)。则D是多项式空间上的线性变换。

线性变换的例题

例1：判断下列变换是否为线性变换。

设变换T: $R^2\to R^2$，定义为T((x, y)) = (x + y, x - y)。

解：

1. 验证加法性质：对于任意向量(x1, y1)和(x2, y2)，

T((x1, y1) + (x2, y2)) = T((x1 + x2, y1 + y2)) = ((x1 + x2) + (y1 + y2), (x1 + x2) - (y1 + y2)) = (x1 + y1 + x2 + y2, x1 - y1 + x2 - y2)

T((x1, y1)) + T((x2, y2)) = (x1 + y1, x1 - y1) + (x2 + y2, x2 - y2) = (x1 + x2 + y1 + y2, x1 - y1 + x2 - y2)

由于两者相等，满足加法性质。

2. 验证标量乘法性质：对于任意向量(x, y)和标量k，

T(k(x, y)) = T((kx, ky)) = (kx + ky, kx - ky) = k(x + y, x - y) = kT((x, y))

满足标量乘法性质。

因此，T是线性变换。

例2：设A是3x3矩阵，A =$\begin{array}{ccc}1& 2& 3\\ 0& 1& 1\\ 0& 0& 2\end{array}$，求A的值域R(A)和核N(A)。

解：

1. 求值域R(A)：值域R(A)是A的列向量所张成的子空间。通过高斯消元法或观察法，可以找到A的列向量中的主元列，它们张成的空间即为R(A)。

   在本例中，A的列向量分别为(1, 0, 0)，(2, 1, 0)，(3, 1, 2)。通过高斯消元法或观察法，可以发现这三个列向量线性无关，因此R(A)是整个R^3空间。

2. 求核N(A)：核N(A)是满足Ax = 0的所有向量x的集合。解线性方程组Ax = 0，得到的解集即为N(A)。

   在本例中，解方程组

   $\begin{array}{ccc}1& 2& 3\\ 0& 1& 1\\ 0& 0& 2\end{array}\begin{array}{c}x\\ y\\ z\end{array}=\begin{array}{c}0\\ 0\\ 0\end{array}$

   得到解为x = -2z, y = -z, z自由。因此，N(A) = {(-2z, -z, z) | z ∈ R}。
   仿射集（Affine Set）是数学和特别是线性代数中的一个重要概念，它与线性空间中的线性变换和仿射变换紧密相关。在深入讨论仿射集的所有定理之前，我们首先需要明确仿射集的基本定义和性质。然而，由于“所有定理”这一表述非常宽泛，我将概述一些仿射集的基本性质和重要定理，这些性质和定理在研究和应用仿射集时非常有用。

仿射集的定义

一个集合 $C\subseteq {\mathbb{R}}^n$ 被称为仿射集，如果对于集合 $C$ 中的任意两个点 $x_1$ 和 $x_2$，以及任意实数 $\theta$（$0\le \theta \le 1$），点 $\theta x_1+(1-\theta )x_2$ 也属于集合 $C$。这个定义可以扩展到多个点的仿射组合。

基本性质

1. 空集和单点集：空集 $\varnothing$ 和任意单点集 { x } \{x\} {x} 都是仿射集。
2. 直线和线段：在 ${\mathbb{R}}^n$ 中，任意直线或线段都是仿射集。
3. 仿射子空间：如果 $C$ 是一个仿射集，那么它包含的任意子集（如果也是仿射集的话）被称为 $C$ 的仿射子空间。
4. 仿射变换下的不变性：仿射集在仿射变换下保持不变。即，如果 $C$ 是一个仿射集，$T$ 是一个仿射变换，那么 $T(C)$ 也是仿射集。

重要定理

1. 仿射集的闭包性质：仿射集的任意交集仍然是仿射集。特别地，如果 $C_1$ 和 $C_2$ 是仿射集，那么 $C_1\cap C_2$ 也是仿射集。
2. 仿射集的生成：给定一组点 $x_1,x_2,\dots ,x_k$，它们所有仿射组合的集合形成一个仿射集，称为由这些点生成的仿射集。
3. 维数定理：一个仿射集的维数等于其生成集中线性无关向量的最大数量减一（对于非空集而言）。空集的维数定义为 $-1$。
4. 仿射包：对于任意集合 $S\subseteq {\mathbb{R}}^n$，存在一个最小的仿射集包含 $S$，称为 $S$ 的仿射包（Affine Hull）。
5. 仿射独立性：一组向量 $v_1,v_2,\dots ,v_k$ 被称为仿射独立，如果它们中没有一个向量可以表示为其他向量的仿射组合。仿射独立性与线性独立性在概念上是相关的，但有所不同。

应用和扩展

仿射集在凸分析、优化理论、计算机图形学等领域有广泛应用。例如，在凸分析中，凸集是一种特殊的仿射集，它满足对于集合中任意两点的凸组合也属于该集合。在优化问题中，可行域经常是凸集或仿射集，这使得问题的求解更加容易和高效。

总之，仿射集是一个丰富而复杂的主题，涉及多个数学分支和实际应用领域。上述提到的性质和定理只是仿射集理论的一部分，完整的理论还包括更多深入的结果和应用。

参考文献

1.《最优化导论》
2.文心一言，chatgpt