凸分析（1）

 最近刚开始读Rockafellar的这本convex analysis，尝试记一些boyd convex optimization里面没有的东西。自己还是太弱了。很多问题还是想不明白。先写一些作为学习笔记好了。希望能找到小伙伴一起学习。
关于仿射集的Tucker表示。
 首先，仿射变换$\mathcal{T}:R^n \rightarrow R^m$的图像是$R^{m+n}$中的一个仿射子集。
 对于$y=\mathcal{T}x=Ax+a$，$\mathcal{T}$的图像由点$z=(x,y)$组成，其中$x\in R^n,y\in R^m$。显然，对于$z$，有$\mathcal{B}z=b$成立。其中$b=-a$并且$B$是线性变换：$(x,y) \rightarrow \mathcal{A}x-y$。
 所以$\mathcal{T}$的图像为$\{z|Bz=b\}$。$B$为线性变换$\mathcal{B}$所对应的$m \times n$的矩阵，$b \in R^m$，因此，该集合为仿射集。
 特别的，从$R^n$到$R^m$的线性变换：$x \rightarrow \mathcal{A}x$（即$a=b=0$）的图像是包含空间$R^{m+n}$原点的仿射集。
 因此它是$R^{m+n}$的某个子空间$L$，$L$的正交补可写为：

$$L^{\perp}=\{(x^{\star},y^{\star})|x^{\star}\in R^n,y^{\star} \in R^m,x^{\star}=-\mathcal{A}^{\star}y^{\star}\}$$
即 $L^{\perp}$是 $-\mathcal{A}^{\star}$的图像。
事实上，对于 $y=\mathcal{A}x$的图像 $z=(x,y)$。记 $z^{\star}=(x^{\star},y^{\star}) \in L^{\perp}$
  $\therefore \langle z,z^{\star} \rangle=\langle (x,y),(x^{\star},y^{\star}) \rangle=0$
  $\Rightarrow \langle x,y \rangle +\langle x^{\star},y^{\star} \rangle=0$
  $\Rightarrow \langle x,x^{\star} \rangle+ \langle\mathcal{A}x,y^{\star} \rangle=\langle x,x^{\star} \rangle+\langle x,\mathcal{A}^{\star}y^{\star} \rangle=0$
  $\Rightarrow \langle x,x^{\star}+{\mathcal{A}^{\star}} y^{\star} \rangle=0$对任意 $x \in R^n$成立。
  $\Rightarrow x^{\star}+\mathcal{A}^{\star}y^{\star}=0$即 $x^{\star}=-A^{\star}y^{\star}$
 进一步的，有结论：任何非平凡仿射集都可以表示成仿射变换的图像。
 不妨设 $M$是$R^N$中的 $n$维仿射集，$1<n<N$
  $\therefore M=\{x|Bx=\beta\},x\in R^N$
 将 $x$写成$x=(\xi_1,\xi_2,\dots,\xi_N)$，则
  $Bx=\beta \Rightarrow \beta_{i1}\xi_1+\dots+\beta_{iN}\xi_N=\beta i,i=1,\dots,k,k>N-n=m$
  $\because M$为 $n$维仿射集 \quad $\therefore$其平行子空间 $\{x|Bx=0\}$维数为 $n$
 即$B$的零度为 $N$ \quad $\therefore Bx=0$有 $n$个线性无关的解。
 $\therefore r(B)=N-n=m$
  $\therefore$方程组 $\beta_{i1}\xi_1+\dots+\beta_{iN}\xi_N=\beta i,i=1,\dots,k$可以通过初等行变换来消去 $k-m$行，化简为 $\beta_{i1}\xi_1+\dots+\beta_{iN}\xi_N=\beta i,i=1,\dots,m$
 记为 $B^{'}x=\beta^{'}$此时 $r(B^{'})=r(B^{'}|\beta)=m$。
  $\because$矩阵的行秩等于列秩。
  $\therefore\xi_1,\dots,\xi_N$的秩为 $m$，因此可排序为$\xi_{\bar{1}},\dots,\xi_{\bar{N}}$，其中 $\xi_{\bar{1}},\dots,\xi_{\bar{n}}$看作已知量，选出 $\xi_{\bar{n+1}},\dots,\xi_{\bar{N}}$为线性无关的自变量。
 那么我们可以用 $\xi_{\bar{1}},\dots,\xi_{\bar{n}}$来表示出其余 $m$个$\xi_{\bar{n+1}},\dots,\xi_{\bar{N}}$
 即 $\xi_{\bar{n+i}}=\alpha_{i1}\xi_{\bar{1}}+\dots+\alpha_{in}\xi_{\bar{n}}+\alpha_i,i=1,\dots,m$
 实际上，我们可以考虑非齐次线性方程组 $Bx=\beta$由于 $r(B)=r(B|\beta)=m$，则存在 $n-m$个自由未知量，并且其余 $m$个约束变量可以由自由未知量表出。
 方程组$Bx=\beta$称为仿射集 $M$的Tucker表示，它将$M$表示成从 $R^n$到 $R^m$的仿射变换的图像。
 显然，对于 $N$个列向量，当其中任意$m$个都线性无关时，仿射集有最多种的Tucker表示，即任意种排列都满足条件，因此共有 $N!$种Tucker表示。
 当然，子空间 $L$的Tucker表示是齐次形式的：
$$\xi_{\bar{n+1}}=\alpha_{i1}\xi_{\bar{1}}+\dots+\alpha_{in}\xi_{\bar{n}},\quad i=1,\dots,m$$
 以上 $L$的这种表示是作为线性变换的图像，那么$L^{\perp}$对应负伴随变换的图像，因此，当且仅当
$$\xi^{\star}_{\bar{j}}=\xi^{\star}_{\bar{n+1}}\alpha_{1j}+\dots+\xi^{\star}_{\bar{n+m}}, \quad j=1,\dots,m$$
成立时， $x^{\star}=(\xi^{\star}_1,\dots,\xi^{\star}_N)$属于 $L^{\perp}$。这就给出了 $L^{\perp}$的Tucker表示。(书上这个地方好像写错了）
 另外，我们可以用线性算子证明矩阵的行秩等于列秩。
 我们考虑线性映射 $\mathcal{A}:R^n \rightarrow R^m$以及它的伴随 $\mathcal{A^{\star}}:R^m \rightarrow R^n$。
 又 $Im\mathcal{A}=\{w|w=\mathcal{A}x,x\in R^n \}=\{\mbox{矩阵A所有列向量的线性组合}\}$
 不妨设矩阵列向量为 $\alpha_1,\dots,\alpha_n$
  $\therefore Im\mathcal{A}=\{k_1\alpha_1+\dots+k_n\alpha_n| \forall k_i \}$
  $\because \{k_1\alpha_1+\dots+k_n\alpha_n\}$和 $\{\alpha_1,\dots,\alpha_n\}$可以互相线性表出。
  $\therefore rank(\{k_1\alpha_1+\dots+k_n\alpha_n\})=rank(\{\alpha_1,\dots,\alpha_n\})$
 即 $dim(Im \mathcal{A})=$矩阵A的列秩。
 对 $\forall w \in R^m$， $w \in ker \mathcal{A}^{\star} \Leftrightarrow \mathcal{A}^{\star}(w)=0 \Leftrightarrow \forall v \in R^n,<A^{\star}(w),v>=0$
$\Leftrightarrow \forall v \in R^n,\langle w,A(v) \rangle=0 \Leftrightarrow w \in (Im \mathcal{A})^{\perp}$
  $\therefore ker\mathcal{A}^{\star}=(Im\mathcal{A})^{\perp} \Rightarrow dim(ker\mathcal{A}^{\star})=dim(Im\mathcal{A})^{\perp}=m-dim(Im\mathcal{A})$
 又由秩零定理，有 $dim(ker \mathcal{A}^{\star})=m-dim(Im\mathcal{A^{\star}})$
  $\therefore dim(Im\mathcal{A})=dim(Im\mathcal{A}^{\star})$，由于实范围内 $A^{\star}$即为 $A^{T}$
  $\therefore A$列秩= $A^{T}$列秩 $\Rightarrow$矩阵A行秩=列秩。