最优化导论1

证明方法

$A\Rightarrow B$就是组合命题“（非A）或B”，经常读作“A当且仅当Ｂ”，“如果Ａ，则Ｂ”、“Ａ是Ｂ的充分条件”或者“Ｂ是Ａ的必要条件”。可以将两个命题组合成等价命题的形式$A\Leftarrow \Rightarrow B$ 读作“A成立，当且仅当B成立”或者“A等价于B”或者“A对于B是充分必要的”

向量与矩阵

• 如果方程 $$\alpha_1 a_1+\alpha_2 a_2+·····+\alpha_k a_k=0$$
  中所有的系数$\alpha_i(i=1,···,k)$都等于0，那么称向量集${\alpha_1,\alpha_2,·····，\alpha_k}$是先行无关的。
• 如果向量集不是线性无关的，那么称其线性相关。
• 如果集合中只包括一个向量0，由于对于任意$\alpha \neq 0$,都有$\alpha 0 =0$,因此，该集合是线性相关的，实际上，所有包含0向量的集合都是线性相关的。
• 如果集合中只包括单个非零向量$\alpha \neq 0$,只有$\alpha=0$s时，才有$a \alpha = 0$成立，因此，该集合是线性相关的。
• 给定向量$\alpha$,如果存在标量$a_1,a_2,·····，a_k$,使得 $$\alpha=a_1 \alpha_1 +a_2 \alpha_2+·····+a_k \alpha_k$$
  那么称向量$\alpha$为$\alpha_1,\alpha_2,······，\alpha_k$的线性组合。
• 命题2.1向量集${\alpha_1,\alpha_2,······，\alpha_k }$是线性相关的，当且仅当集合中有一个向量可以表示为其他向量的线性组合。
• 令$\nu$表示为$R^n$的一个子集，如果$\nu$在向量的加法和运算以及标量乘积运算下是封闭的，那么成为$\nu$是$R^n$的子空间。
• 假定${\alpha_1,\alpha_2,······，\alpha_k }$是$R^n$中的任意向量，它们所有的线性组合的集合称为${\alpha_1,\alpha_2,······，\alpha_k }$张成的子空间，记为
  $$span[\alpha_1,\alpha_2,······，\alpha_k ]={\sum_{i=1}^{k}a_i \alpha_i:\alpha_1,\alpha_2,······，\alpha_k \subset R^n}$$
  对于向量$\alpha$，子空间$span[\alpha]$是由向量$a \alpha$组成，$\alpha$为任意的实数。同样$\alpha$可表示为${\alpha_1,\alpha_2,······，\alpha_k }$的线性组合，则有 $$span[\alpha_1,\alpha_2,······，\alpha_k ,\alpha]=span[\alpha_1,\alpha_2,······，\alpha_k ]$$ ,因此，任意向量集合都能够张成一个子空间。
• 基：给定子空间$V$,如果存在线性无关的向量集合${\alpha_1,\alpha_2,······，\alpha_k } \subset V$使得$V=span[\alpha_1,\alpha_2,······，\alpha_k ,\alpha]$,那么称$\{\alpha_1,\alpha_2,······，\alpha_k \}$是子空间$V$的一组基。子空间$V$中的所有基都包含相同数量的向量，这一数量称为$V$的维数，记为$dimV$.
• 命题2.2 如果$\{\alpha_1,\alpha_2,······，\alpha_k \}$是$V$的一组基，那么$V$中的任意向量$\alpha$可以唯一地表示为
  $$\alpha=a_1 \alpha_1 +a_2 \alpha_2+·····+a_k \alpha_k$$
  其中，$a_i \subset R$,$i=1,2,······，k$.
• 矩阵的秩 矩阵A中线性无关列的最大数目成为A的秩，记为$rank A$.可以看出$rank A$正是$span[\alpha_1,\alpha_2,······，\alpha_k ,\alpha]$的维数。
• 命题2.3 以下运算，矩阵A的秩保持不变：
  1、矩阵A的某个（些）列乘以非零标量
  2、矩阵内部交换次序
  3、在矩阵中加入一列，该列是其他列的线性组合。
• 定理2.1方程组$Ax=b$有解，当且仅当 $$rankA=rank[A,b]$$
  一个非奇异（可逆）的矩阵是一个行列式非零的方阵。假定A是$n \times n$的方阵,A 是非奇异的，当且仅当存在$n \times n$方阵B，使得 $$AB=BA=I_n$$ 其中$I_n$是单位矩阵
• 定理2.2 考虑方程$Ax=b$，其中$A \subset R^{m\times n}$且$rank A = m$.可以通过n-m个未知数富裕任意值求解其他未知数来获取$Ax=b$的解。
• 对于$x,y \subset R^n$,定义欧式内积
  
  <x,y>=∑i=1nxiyi=xTy
  <script type="math/tex; mode=display" id="MathJax-Element-10708"> =\sum_{i=1}^{n}x_iy_i=x^Ty</script>
  内积是一个实值函数 <⋅，⋅>Rn×Rn→R <script type="math/tex" id="MathJax-Element-10709"><·，·> R^n \times R^n \rightarrow R</script>,具有如下性质：
  1、非负性： <x,x>≥0 <script type="math/tex" id="MathJax-Element-10710"> \geq0 </script> 当且仅当 $x=0$时， <x,x>=0 <script type="math/tex" id="MathJax-Element-10712"> =0</script>
  2、对称性： <x,y>=<y,x> <script type="math/tex" id="MathJax-Element-10713"> = </script>
  3、可加性： <x+y,z>=<x,z>+<y,z> <script type="math/tex" id="MathJax-Element-10714"> = + </script>
  4、齐次性：对于任意的 $r\subset R$,总有 <rx,y>=r<y,x> <script type="math/tex" id="MathJax-Element-10716"> =r </script>
• 特征值与特征向量
  

设A,B两个n阶矩阵，如果存在n 阶可逆矩阵C使得$C^TAC=B$,则称A与B合同，若$P^{-1}AP=B$则称A与B相似。如果C是正交矩阵$C^T=C^{-1}$,则B与A既相似又合同。

• 反身性：对于任意方阵A，都对自身合同
• 对称性
• 传递性