线性算法及应用(4)

正交

• 内积映射：$(u,v)\in V\times V\mapsto <u,v>\in R$，满足

  • 对称性：$<u,v>=<v,u>$
  • 非负性：$<u,u>\ge 0$
  • 正定性：$<u,u>=0⟺u=0$
  • 线性：$<c_{1}u+c_{2}v,w>=c_1<u,w>+c_2<v,w>$
  • 如果空间$V$中定义了内积，叫做内积空间

• 在向量空间里，一般定义$<u,v>:=u^{t}v$，也记做$u\cdot v$

• 正交：内积为零，$u\cdot v=0$；在$R^2,R^3$中，$u\cdot v=\Vert u\Vert \cdot \Vert v\Vert \cos \theta$，其中距离$\Vert u\Vert :=\sqrt{<u,u>}$

• 正交于空间$V$的所有向量组成子空间，叫做$V$的正交补空间，记做$V^{\perp }$

• 令$A\in R^{m\times n}$，定义零空间： N u l ( A ) = { x ∣ A x = 0 ,   x ∈ R n } Nul(A) = \{x|Ax=0,\,x \in R^n\} Nul(A)={x∣Ax=0,x∈Rn}

• 令$A\in R^{m\times n}$，由它的行向量张成的空间叫做行空间$Row(A)$，由它的列向量张成的空间叫做列空间$Col(A)$

• $Row(A{)}^{\perp }=Nul(A)$，$Col(A{)}^{\perp }=Nul(A^T)$

• 正交投影：$y$在$u$上的正交投影为，$\hat{y}=pro{j}_u(y)=\frac{y\cdot u}{u\cdot u}u$，且$y=\hat{y}+z$，这里的$z\perp u$叫做$y$正交于$u$的分量。

• 正交集合 S = { u 1 , ⋯   , u p } S=\{u_1,\cdots,u_p\} S={u1​,⋯,up​}，各向量相互正交。它张成空间$W$，并且$S$是一组正交基。对于$y\in W$，那么有：$y=c_1{u}_1+\cdots +c_p{u}_p$，其中$c_j=\frac{y\cdot u_j}{u_j\cdot u_j}$ ($c_j{u}_j$就是$y$在$u_j$上的正交投影)

• 矩阵$U\in R^{m\times n}$的列向量都有单位长度；$U$的列向量相互正交$⟺U^{T}U=I$

  对于$x,y\in R^n$，

  • $\Vert Ux\Vert =\Vert x\Vert$
  • $(Ux)\cdot (Uy)=x\cdot y$
  • $(Ux)\cdot (Uy)=0⟺x\cdot y=0$

• 正交分解定理：$W\subseteq R^n$，对于每个$y\in R^n$，可以唯一地写作$y=\hat{y}+z$，其中$\hat{y}\in W,z\in W^{\perp }$；当 { u 1 , ⋯   , u p } \{u_1,\cdots,u_p\} {u1​,⋯,up​}是$W$的一组正交基，那么$\hat{y}=c_1{u}_1+\cdots +c_p{u}_p,c_j=\frac{y\cdot u_j}{u_j\cdot u_j}$，且$z=y-\hat{y}$；这里的$\hat{y}$叫做$y$在$W$上的正交投影，记为$pro{j}_W(y)$

• { u 1 , ⋯   , u p } \{u_1,\cdots,u_p\} {u1​,⋯,up​}是$W\subseteq R^n$的单位正交基，令$U=[u_1{u}_2\cdots u_p]$，那么：$pro{j}_W(y)=(y\cdot u_1)u_1+\cdots +(y\cdot u_p)u_p=U{U}^{T}y$

• 如果$y\in W$，那么$pro{j}_W(y)=y$

• 最佳近似定理：$W\subseteq R^n$，对于每个$y\in R^n$，令$\hat{y}=pro{j}_W(y)$，那么$\hat{y}$是$W$里靠近$y$的最近点：$\Vert y-\hat{y}\Vert <\Vert y-v\Vert ,\hat{y}\ne v\in W$

• Cauchy-Schwarz Inequality：$\forall u,v\in V,|<u,v>|\le \Vert u\Vert \cdot |v\Vert$

• Triangle Inequality：$\forall u,v\in V,\Vert u+v\Vert \le \Vert u\Vert +|v\Vert$

算法

• Gram-Schmidt Process：产生正交基的算法

  • 给定$W\subseteq R^n$的任意一组基 { x 1 , ⋯   , x p } \{x_1,\cdots,x_p\} {x1​,⋯,xp​}
  • 计算$v_1=x_1$，令 W 1 = S p a n { v 1 } W_1 = Span\{v_1\} W1​=Span{v1​}
  • 计算$v_k=x_k-pro{j}_{W_{k-1}}{x}_k$，它与$v_j,j\le k-1$都正交，令 W k = S p a n { v 1 , ⋯   , v k } W_{k}=Span\{v_1,\cdots,v_k\} Wk​=Span{v1​,⋯,vk​}
  • 那么 { v 1 , ⋯   , v p } \{v_1,\cdots,v_p\} {v1​,⋯,vp​}是$W$的一组正交基，且 S p a n { v 1 , ⋯   ,   v k } = S p a n { x 1 , ⋯   , x k } ,   1 ≤ k ≤ p Span\{v_1,\cdots,\,v_k\} = Span\{x_1,\cdots,x_k\},\, 1 \le k \le p Span{v1​,⋯,vk​}=Span{x1​,⋯,xk​},1≤k≤p
  • 易知，$v_k=x_k-{\sum }_{j=1}^k\frac{x_k\cdot v_j}{v_j\cdot v_j}{v}_j$

• 单位正交基可以由正交基得到：$u_i=\frac{v_i}{\Vert v_i\Vert }$

• QR分解：对于各列向量线性无关的矩阵$A\in R^{m\times n}$ (列满秩，必定$m\ge n$)，那么有分解：$A=QR$，其中$Q\in R^{m\times n}$是$Col(A)$的单位正交基，而$R\in R^{n\times n}$是上三角可逆方阵，且$R_{ii}>0$

  • 令$A$的列向量是 { x 1 , ⋯   , x n } \{x_1,\cdots,x_n\} {x1​,⋯,xn​}，它是$Col(A)$的一组基。
  • 用Gram-Schmidt Process算法，计算$Col(A)$的单位正交基 { u 1 , ⋯   , u n } \{u_1,\cdots,u_n\} {u1​,⋯,un​}，令$Q=[u_1\cdots u_n]$
  • 由于 S p a n { v 1 , ⋯   ,   v k } = S p a n { x 1 , ⋯   , x k } Span\{v_1,\cdots,\,v_k\} = Span\{x_1,\cdots,x_k\} Span{v1​,⋯,vk​}=Span{x1​,⋯,xk​}，因此$x_k=r_{1k}{u}_1+\cdots +r_{kk}{u}_k+\overrightarrow{0}$，令$r_k=[r_{1k}\cdots r_{kk}0\cdots 0{]}^t$，则$x_k=Q\cdot r_k$；令$R=[r_1\cdots r_n]$
  • 易知，$A=[x_1\cdots x_n]=[Q{r}_1\cdots Q{r}_n]=QR$

• 在计算机上，Gram-Schmidt Process计算每个$v_k$时会有小的误差，并会随着计算累积误差，往往使得$u_j^T{u}_k$并不接近0；这可以通过重新排列计算来减少误差。为了计算QR分解，我们往往对$A$左乘一系列正交矩阵 (类似LU分解)，使得它变成上三角矩阵。

• 最小二乘法：$A\in R^{m\times n}$且$b\in R^m$，那么方程$Ax=b$不一定有解，它的最小二乘解定义为：$\hat{x}$，使得$\Vert b-A\hat{x}\Vert \le \Vert b-Ax\Vert ,\forall x\in R^n$

  • 令$\hat{b}=pro{j}_{Col(A)}(b)$，那么$A\hat{x}=\hat{b}$，即$\hat{x}=[\hat{b}{]}_A$
  • $b=\hat{b}+z=A\hat{x}+z$，那么$z\perp Col(A)$，从而$z\in Nul(A^T)$，即$A^T(b-A\hat{x})=0$
  • $Ax=b$的最小二乘解$\hat{x}$满足方程：$A^{T}Ax=A^{T}b$，后者叫做normal equations
  • 当$A^{T}A$可逆 (等价于$A$列满秩，也等价于$Ax=b,\forall b\in R^m$都有唯一最小二乘解)，那么最小二乘解是：$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$
  • 如果$A$不是列满秩，那么虽然投影$\hat{b}$唯一，但$A\hat{x}=\hat{b}$的解$\hat{x}=[\hat{b}{]}_A$不唯一

• 对于列满秩长矩阵$A\in R^{m\times n}$，它可以分解为$A=QR$；那么，对于任意的$b\in R^m$，方程$Ax=b$的最小二乘解是：$\hat{x}=R^{-1}{Q}^{T}b$

• $\hat{x}$是$Rx=Q^{T}b$的解，并且求解这个方程 (利用$[R|Q^{T}b]$的行约减) 比计算与逆矩阵的乘法要快得多。

• 一般线性模型：$y=X\beta +ϵ$；给定$X,y$，求最小二乘解$\hat{\beta }$

• 其他曲线模型：$y={\beta }_0{f}_0(x)+\cdots +{\beta }_k{f}_k(x)+ϵ$；已知函数$f_j$，对于固定的参数${\beta }_j$，根据点集$(x_i,y_i)$，确定出${\hat{\beta }}_j$

  • 它其实也是线性模型，因为点集$(x_i,y_i)$给定后，$f_j(x_i)$是固定值。

  • 例如，$y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2+ϵ$，可以写作
    $$y=\left[\begin{array}{ccc}1& x_1& x_1^2\\ & ⋮& \\ 1& x_n& x_n^2\end{array}\right]\left[\begin{array}{c}{\beta }_0\\ {\beta }_1\\ {\beta }_2\end{array}\right]+\left[\begin{array}{c}{ϵ}_0\\ {ϵ}_1\\ {ϵ}_2\end{array}\right]=X\beta +ϵ$$

• 对于多变元曲线，举例，二变元曲线，可写作：$y={\beta }_0{f}_0(u,v)+\cdots +{\beta }_k{f}_k(u,v)$，其中$f_j$是已知函数，${\beta }_j$是固定的未知参数；给定点集$((u_i,v_i),y_i)$，它还是$y=X\beta +ϵ$形式。例如$y={\beta }_0+{\beta }_{1}u+{\beta }_{2}v$，可以写作$y={\beta }_0+({\beta }_{1}u+{\beta }_{2}v)+({\beta }_3{u}^2+{\beta }_{4}uv+{\beta }_5{v}^2)$；更多变元的类似，略。

• 一元整系数多项式空间$P_n$上的内积函数：对于$p,q\in P_n$，给定离散实数$t_0,\cdots ,t_n$，定义为
  $$<p,q>=p(t_0)q(t_0)+p(t_1)q(t_1)+\cdots +p(t_n)q(t_n)$$
  易证，它满足内积的要求，因此它是内积函数。

• 利用上述的内积，可以对$P_n$利用Gram-Schmidt Process计算一组正交基 { p 0 ( x ) , p 1 ( x ) , ⋯   , p n + 1 ( x ) } \{p_0(x),p_1(x),\cdots,p_{n+1}(x)\} {p0​(x),p1​(x),⋯,pn+1​(x)}；例如，取定离散点 { − 2 , − 1 , 0 , 1 , 2 } \{-2,-1,0,1,2\} {−2,−1,0,1,2}，那么 { p 0 ( x ) = 1 ,   p 1 ( x ) = x ,   p 2 ( x ) = t 2 − 2 } \{p_0(x)=1,\,p_1(x)=x,\,p_2(x)=t^2-2\} {p0​(x)=1,p1​(x)=x,p2​(x)=t2−2}是$P_2$的一组正交基。

• 利用上述的$P_n$的正交基，给定点集$(x_i,y_i)$，那么我们也可以用至多n度的一元多项式做拟合，计算最小二乘解$\hat{p}(x)$

• 连续一元多项式空间上，取值自$C[a,b]$的任意两个多项式$f(x),g(x)$，可以定义内积函数：$<f,g>=\frac{1}{b-a}{\int }_a^{b}f(t)g(t)dt$

• 在$C[0,2\pi ]$上， ∀ n ≥ 1 ,   { 1 , cos ⁡ t , sin ⁡ t , ⋯   , cos ⁡ n t , sin ⁡ n t } \forall n \ge 1,\, \{ 1,\cos{t},\sin{t},\cdots,\cos{nt},\sin{nt} \} ∀n≥1,{1,cost,sint,⋯,cosnt,sinnt}相互正交。应用：傅里叶级数、傅里叶变换。