线性代数笔记（6）：内积空间（上）

一、内积的定义

例1： (对于实数而言，是否取共轭都是一样的。但是对于复数而言，为了保证所得之结果大于等于0（这样才能比较大小）就必须取一个共轭)

例2：通常，内积的定义方式并不唯一，为了给出一个较为常用的矩阵内积的定义，先来看一下共轭转置的概念。

由此，矩阵A和B（V=M_n×n(F)）的内积为：<A,B> = tr(B*A)，其中tr表示矩阵的迹，也就是对角线上元素的和。

一些基于内积的重要定义（V is an inner product space）：

1. Let x∈V, the length or norm of x is defined to be
2. x, y ∈V is said to be 垂直 or orthogonal if <x,y>=0
3. S ⊂ V is orthogonal if <x,y>=0 for all x, y ∈ S
4. S ⊂ V is orthonormal if S is orthogonal and ||x||=1 for all x ∈ S

二、内积的一些性质

有了内积的定义，我们还可以得到更泛化的Cauchy-Schwarz不等式：|<x,y>| ≤ ||x|| ||y||

以及三角不等式：||x+y|| ≤ ||x|| + ||y||

三、正交化

基于Thm 6.3，我们可以很容易得到如下两个推论：

Thm 6.3的几何意义也是非常明确的。span(S)是由一组正交基{v₁, v₂, ..., v_k} 张开的子空间，那么对于任何属于S的元素y，它都可以由这组正交基的线性组合得到。而组合系数就是 y 在各个 v_i 上的投影。如下图（左）所示，你可以看到如果要求a在b上的投影，通常的做法就是先得到b方向的单位向量，然后让其与a做内积，就得到了a在b方向上的投影长度，但是投影还缺少一个方向（因为内积的结果是标量）所以再乘以一个b方向的单位向量，即，这便是Thm 6.3所表达的意思。

推论1的意思是说，如果正交基{v₁, v₂, ..., v_k}都是单位向量，那么系数中分母的部分就等于1，所以组合系数就变成了<a,b>（或<a,e₁>）。例如上图（右）所示为一个三维空间，我们知道它的一组orthonormal基底是{e₁=(1,0,0), e₂=(0,1,0), e₃=(0,0,1)}，那么如果我们想用这组基底表示向量a=(6,2,1)，其实就可以用

a = <a,e₁>e₁+<a,e₂>e₂+<a,e₃>e₃=6e₁+2e₂+1e₃

来表示，可见有orthonormal基底的话表示方法是非常简单明了的。可见得到orthonormal基底是非常重要的，而得到orthonormal基底的方法就是“ 施密特正交化（Gram–Schmidt process）”，这部分内容可以参考（http://blog.csdn.net/baimafujinji/article/details/6479143）。

四、正交补

定理6.6的几何意义也是非常明确的，如下图所示。u是属于W空间的，z是属于W的正交补空间的，而且W和其正交补空间都是子空间。一定存在u和z使得y=u+z。

定理6.6有诸多非常有用的应用，其中之一就是给出了下面这个“最佳逼近原理”，在讨论最小二乘问题时，我们还会再用到这个最佳逼近定理。

最佳逼近原理的叙述乍看起来有些抽象，当它的几何意义其实是非常直观的，如下图所示。

最佳逼近原理的证明也非常容易，只要使用毕达哥拉斯定理（也就是勾股定理）即可。

五、伴随算子（adjoint operator）

基于Thm 6.8，我们可以证明下述Thm 6.9是正确的。

既然满足条件的T*是存在的，那么下面我们就给它一个称呼。

六、伴随算子与矩阵共轭转置的关系

在本文最开始，我们就已经介绍过矩阵A的共轭转置A*的意思。现在我们有介绍了算子T的伴随随着T*的概念。显然它们的标记符号都是一样的，这是否暗示二者之间存在着某种联系呢？下面这个定理就回答了这个问题。

这个定理表明：算子T的伴随随着T*（相对于orthonormal基底β）的矩阵表示 就等于 算子T（相对于orthonormal基底β）的矩阵表示的共轭转置。根据这个定理我们很容易得到如下推论：(L_A)*=L_A* 。更重要的是这个定理还为寻找T的T*提供了一种途径。

七、T*的运算性质

1. (T+U)*=T*+U*
2. (cT)*=
3. (TU)*=U*T*
4. T**=T
5. I*=I
   

八、找最小解的问题(Find the minimum solution of Ax=b)

Given a consistent system Ax = b, A ∈ M_m×n, find a solution S so that ||S|| ≤ ||x|| for any x satisfying Ax = b.

一个可行的方法是找到Ax=b的任意一个解x，将其投影到Range(A*)子空间上，得到S，可以证明S就是唯一的最小解，如下图所示。

下面我们来证明S是就是最小的解。证明：易知 x=S+v, v∈N(A), S∈Range(A*)

x=S+v ⇒ Ax = A(S+v) ⇒ b = AS + Av ⇒(因为v∈N(A)，所以Av =0 ) b = AS，所以S是一个解。

Let x be any solution of Ax = b ⇒ x-S ∈ N(A) ⇒ ∃x₀ ∈ N(A) s.t. x-S = x₀ ⇒ x = S+x₀。

由于S垂直于x₀，所以根据勾股定理，||x||²=||S||²+||x₀||²≥||S||²，所以S是最小解。

接下来证明S是唯一的。证明：Let x₁ be another solution of Ax = b, let s₁ be 投影，s.t. x₁ = s₁ + v₁,

where s₁ ∈ Range(A*) and s₁ ∈ N(A)。

因为As = b， As₁ = b，所以 s - s₁ ∈ N(A)=W^⊥。并且 s - s₁ ∈ Range(A*)=W。所以s - s₁ ∈ W^⊥∩W={0}，即s = s₁。

结论得证。

实际计算时，我们还可以采用一种更高效的方法以略去上述方法中的投影动作。如果s是一个解，则表示As=b。另一方面，s ∈ Range(A*)，于是必然有一个x₁使得 A*x₁= s。两边同乘一个A得到AA*x₁= As。又因为As=b，于是有AA*x₁=b。

由此可知，我们可以先找满足AA*x₁=b的任意解x₁，则最终要的解就是 s = A*x₁。这个方法因为省去了做投影的动作所以是更加高效的。

Remark：AA*∈M_m×m(F)，if rank(AA*)=m, then AA* 是可逆的，所以此时有公式解 s = A*(AA*)^-1b。

(本文完)

本文主要根据台湾交通大学开放课程线性代数（莊重 特聘教授主讲）之授课内容整理，并参考以下书籍：

【1】S.H. Friedberg, A.J. Insel, L.E Spence, 4th edition, Linear Algebra, Prentice-Hall, 2003

【2】David C. Lay. 刘深泉，等译. 线性代数及其应用（原书第3版），机械工业出版社，2005