线性代数及应用【上】：基变换、坐标变换、矩阵的变换、线性回归、最小二乘法、矩阵的四大基本空间

线性代数及应用【上】

学习笔记打卡：

线性代数及应用【上】：
第一章 矩阵变换
 1.1 基变换与坐标变换
 1.2 矩阵乘法
 1.3 线性变换的矩阵
第二章 矩阵的四大基本空间
应用一 最小二乘法的线性拟合
 3.0 向量范数
 3.1 投影矩阵与投影向量
 3.2 多元线性回归

线性代数及应用【下】：
第四章矩阵分解
 4.0 特征值分解（EVD）
 4.1 奇异值分解（SVD）
应用二 主成分分析（PCA）
参考资料链接

---

---

第一章 矩阵变换

  设 { α 1 ,   α 2 ,   ⋯ ,   α n } \{{\boldsymbol{\alpha}_1},\,{\boldsymbol{\alpha}_2},\,{\cdots},\,{\boldsymbol{\alpha}_n}\} {α1​,α2​,⋯,αn​}和 { β 1 ,   β 2 ,   ⋯ ,   β n } \{{\boldsymbol{\beta}_1},\,{\boldsymbol{\beta}_2},\,{\cdots},\,{\boldsymbol{\beta}_n}\} {β1​,β2​,⋯,βn​}是${\mathbb{R}}^n$的两组基，若一向量$\mathbf{\xi }=x_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2+\cdots +x_n{\mathbf{\alpha }}_n$，或$\mathbf{\xi }=y_1{\mathbf{\beta }}_1+y_2{\mathbf{\beta }}_2+\cdots +y_n{\mathbf{\beta }}_n$，则称$\mathbf{\xi }$在基 { α 1 ,   α 2 ,   ⋯ ,   α n } \{{\boldsymbol{\alpha}_1},\,{\boldsymbol{\alpha}_2},\,{\cdots},\,{\boldsymbol{\alpha}_n}\} {α1​,α2​,⋯,αn​}下的坐标为$\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$，在基 { β 1 ,   β 2 ,   ⋯ ,   β n } \{{\boldsymbol{\beta}_1},\,{\boldsymbol{\beta}_2},\,{\cdots},\,{\boldsymbol{\beta}_n}\} {β1​,β2​,⋯,βn​}下的坐标为$\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)$.

因此在描述坐标时要强调在某组基下.

1.1 基变换与坐标变换

  记$\mathbf{A}=\left(\begin{array}{cccc}{\mathbf{\alpha }}_1& {\mathbf{\alpha }}_2& \cdots & {\mathbf{\alpha }}_n\end{array}\right)$，$\mathbf{B}=\left(\begin{array}{cccc}{\mathbf{\beta }}_1& {\mathbf{\beta }}_2& \cdots & {\mathbf{\beta }}_n\end{array}\right)$分别为基 { α 1 ,   α 2 ,   ⋯ ,   α n } \{{\boldsymbol{\alpha}_1},\,{\boldsymbol{\alpha}_2},\,{\cdots},\,{\boldsymbol{\alpha}_n}\} {α1​,α2​,⋯,αn​}和 { β 1 ,   β 2 ,   ⋯ ,   β n } \{{\boldsymbol{\beta}_1},\,{\boldsymbol{\beta}_2},\,{\cdots},\,{\boldsymbol{\beta}_n}\} {β1​,β2​,⋯,βn​}对应的矩阵. 定义由基底$\mathbf{A}\to \mathbf{B}$的过渡矩阵$\mathbf{P}=\left(\begin{array}{cccc}{\mathbf{p}}_1& {\mathbf{p}}_2& \cdots & {\mathbf{p}}_n\end{array}\right)$，则基变换公式为
$$\mathbf{B}=\mathbf{A}\mathbf{P}$$其中$\mathbf{P}$可逆（其实 { p 1 ,   p 2 ,   ⋯ ,   p n } \{{\boldsymbol{p}_1},\,{\boldsymbol{p}_2},\,{\cdots},\,{\boldsymbol{p}_n}\} {p1​,p2​,⋯,pn​}也构成一组基）. 对应的坐标变换公式为$$\mathbf{x}=\mathbf{P}\mathbf{y}$$

1.2 矩阵乘法

  考虑可逆线性变换$\mathbf{A}\mathbf{x}=\mathbf{y}$，其中$\mathbf{A}$可逆. 令$\mathbf{A}$$=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right)$$=\left(\begin{array}{cccc}{\mathbf{\alpha }}_1& {\mathbf{\alpha }}_2& \cdots & {\mathbf{\alpha }}_n\end{array}\right)$，则 { α 1 ,   α 2 ,   ⋯ ,   α n } \{{\boldsymbol{\alpha}_1},\,{\boldsymbol{\alpha}_2},\,{\cdots},\,{\boldsymbol{\alpha}_n}\} {α1​,α2​,⋯,αn​}构成一组基. 再规定一组自然基 { e 1 ,   e 2 ,   ⋯ ,   e n } \{{\boldsymbol{e}_1},\,{\boldsymbol{e}_2},\,{\cdots},\,{\boldsymbol{e}_n}\} {e1​,e2​,⋯,en​}，令$\mathbf{E}\in {\mathbb{R}}^{n\times n}$为单位矩阵.
  设向量$\mathbf{\xi }$在自然基底下的坐标是$\mathbf{x}=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$. 则$\mathbf{A}\mathbf{x}=\left(\begin{array}{c}{x}_1{\mathbf{\alpha }}_1+x_2{\mathbf{\alpha }}_2+\cdots +x_n{\mathbf{\alpha }}_n\end{array}\right)$，令${\mathbf{\xi }}^{\prime }$在基$\mathbf{A}$下的坐标是$\mathbf{x}=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$. 所以$\mathbf{A}\mathbf{x}$实现了将向量$\mathbf{\xi }\to {\mathbf{\xi }}^{\prime }$的映射，并保持了在各自基下的坐标均为$\mathbf{x}=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$. 令$\mathbf{y}=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)$，即$\mathbf{A}\mathbf{x}=\left(\begin{array}{c}{y}_1{\mathbf{e}}_1+y_2{\mathbf{e}}_2+\cdots +y_n{\mathbf{e}}_n\end{array}\right)$，所以${\mathbf{\xi }}^{\prime }$对应在自然基下的坐标为$\mathbf{y}=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)$.

  所以$\mathbf{A}\mathbf{x}=\mathbf{y}$实现从自然基下向量$\mathbf{\xi }=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$到新基$\mathbf{A}$的坐标不变的映射${\mathbf{\xi }}^{\prime }=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$，且得到的$\mathbf{y}=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)$是${\mathbf{\xi }}^{\prime }$在自然基下的坐标.

例1

描述${\mathbb{R}}^2$下的旋转矩阵$\mathbf{A}$，经变换$\mathbf{A}\mathbf{x}=\mathbf{b}$把笛卡尔坐标下的列向量关于原点逆时针旋转$\theta$.

解

等价于将自然基底 { i ,   j } \{{\boldsymbol{i}},\,{\boldsymbol{j}}\} {i,j}逆时针旋转$\theta$得到基 { e 1 ′ ,   e 2 ′ } \{\boldsymbol{e}'_1,\,\boldsymbol{e}'_2\} {e1′​,e2′​} 令$\mathbf{A}=\left(\begin{array}{cc}{\mathbf{e}}_1^{\prime }& {\mathbf{e}}_2^{\prime }\end{array}\right)$ 当一个向量$\mathbf{\xi }$在基 { e 1 ′ ,   e 2 ′ } \{\boldsymbol{e}'_1,\,\boldsymbol{e}'_2\} {e1′​,e2′​}下的坐标是$\mathbf{x}$，经变换$\mathbf{A}\mathbf{x}$，得到$\mathbf{\xi }$在自然基底下的坐标$\mathbf{b}$. 求得$\mathbf{A}=\left(\begin{array}{cc}{\mathbf{e}}_1^{\prime }& {\mathbf{e}}_2^{\prime }\end{array}\right)=\left(\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right)$

  不同维度变换： 考虑变换$\left(\begin{array}{ccc}3& 1& 1\\ 1& 1& 1\\ 1& 2& 1\end{array}\right)\left(\begin{array}{c}1\\ 2\\ 2\end{array}\right)=\left(\begin{array}{c}7\\ 5\\ 7\end{array}\right)$，实现了${\mathbb{R}}^3\to {\mathbb{R}}^3$的映射. 使用非方阵能够将向量在不同维度转换，考虑不可逆变换$\left(\begin{array}{cc}3& 1\\ 4& 1\\ 5& 2\end{array}\right)\left(\begin{array}{c}1\\ 2\end{array}\right)=\left(\begin{array}{c}5\\ 6\\ 9\end{array}\right)$，实现了${\mathbb{R}}^2\to {\mathbb{R}}^3$的映射；变换$\left(\begin{array}{ccc}2& 1& 1\\ 1& 2& 2\end{array}\right)\left(\begin{array}{c}1\\ 2\\ 2\end{array}\right)=\left(\begin{array}{c}6\\ 9\end{array}\right)$，实现了${\mathbb{R}}^3\to {\mathbb{R}}^2$的映射.

1.3 线性变换的矩阵

  记线性空间为$V_n$，$\mathbf{\xi }$是$V_n$中的一个向量，设$\mathcal{T}$是向量空间$V_n$中的一个线性变换（可以看作是一个函数$f$的推广)，$\mathcal{T}$能够将$\mathbf{\xi }$变换到${\mathbf{\xi }}^{\prime }$，记作
$$\mathcal{T}(\mathbf{\xi })={\mathbf{\xi }}^{\prime }$$选定一组基 { α 1 ,   α 2 ,   ⋯ ,   α n } \{{\boldsymbol{\alpha}_1},\,{\boldsymbol{\alpha}_2},\,{\cdots},\,{\boldsymbol{\alpha}_n}\} {α1​,α2​,⋯,αn​}，在这组基下，$\mathbf{\xi }$的坐标是$\mathbf{x}=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$，${\mathbf{\xi }}^{\prime }$的坐标是${\mathbf{x}}^{\prime }=\left(\begin{array}{c}{x_1}^{\prime }\\ {x_2}^{\prime }\\ ⋮\\ {x_n}^{\prime }\end{array}\right)$. 变换$\mathbf{A}\mathbf{x}={\mathbf{x}}^{\prime }$ 将$\mathbf{x}\to {\mathbf{x}}^{\prime }$，则在这组基下$\mathcal{T}$与$\mathbf{A}$一一对应.
因此$\mathbf{A}$从矩阵乘法的几何意义上看不仅可以表示一组基，在这里还可以看作线性变换$\mathcal{T}$在基 { α 1 ,   α 2 ,   ⋯ ,   α n } \{{\boldsymbol{\alpha}_1},\,{\boldsymbol{\alpha}_2},\,{\cdots},\,{\boldsymbol{\alpha}_n}\} {α1​,α2​,⋯,αn​}下的矩阵.
  选定一组基 { β 1 ,   β 2 ,   ⋯ ,   β n } \{{\boldsymbol{\beta}_1},\,{\boldsymbol{\beta}_2},\,{\cdots},\,{\boldsymbol{\beta}_n}\} {β1​,β2​,⋯,βn​}，在这组基下，$\mathbf{\xi }$的坐标是$\mathbf{y}=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)$，${\mathbf{\xi }}^{\prime }$的坐标是${\mathbf{y}}^{\prime }=\left(\begin{array}{c}{y_1}^{\prime }\\ {y_2}^{\prime }\\ ⋮\\ {y_n}^{\prime }\end{array}\right)$. 变换$\mathbf{B}\mathbf{y}={\mathbf{y}}^{\prime }$ 将$\mathbf{y}\to {\mathbf{y}}^{\prime }$，则$\mathbf{B}$是$\mathcal{T}$在基 { β 1 ,   β 2 ,   ⋯ ,   β n } \{{\boldsymbol{\beta}_1},\,{\boldsymbol{\beta}_2},\,{\cdots},\,{\boldsymbol{\beta}_n}\} {β1​,β2​,⋯,βn​}下的矩阵.

  推导两个变换矩阵的关系. 定义由基底 { α 1 ,   α 2 ,   ⋯ ,   α n } → { β 1 ,   β 2 ,   ⋯ ,   β n } \{{\boldsymbol{\alpha}_1},\,{\boldsymbol{\alpha}_2},\,{\cdots},\,{\boldsymbol{\alpha}_n}\} \to {\{{\boldsymbol{\beta}_1},\,{\boldsymbol{\beta}_2},\,{\cdots},\,{\boldsymbol{\beta}_n}\}} {α1​,α2​,⋯,αn​}→{β1​,β2​,⋯,βn​} 的过渡矩阵$\mathbf{P}$，则对应的坐标变换为$\mathbf{x}=\mathbf{P}\mathbf{y}$和${\mathbf{x}}^{\prime }=\mathbf{P}{\mathbf{y}}^{\prime }$，则
$$\begin{array}{rl}& \mathbf{A}\mathbf{x}={\mathbf{x}}^{\prime }\\ \Rightarrow & \mathbf{A}(\mathbf{P}\mathbf{y})=\mathbf{P}{\mathbf{y}}^{\prime }\\ \Rightarrow & {\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}\mathbf{y}={\mathbf{y}}^{\prime }\end{array}$$即得到
$$\begin{array}{rl}& {\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}\mathbf{y}={\mathbf{y}}^{\prime }=\mathbf{B}\mathbf{y}\\ \Rightarrow & {\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}=\mathbf{B}\end{array}$$  从上述公式看出，空间中同一个线性变换，在不同的基底下，用于描述的矩阵也是不同. 这些不同矩阵所描述的线性变换是相似的，他们也称之为相似矩阵，而过渡矩阵$\mathbf{P}$联系了这些相似矩阵. 相似矩阵表示的线性变换为相似变换.

第二章 矩阵的四大基本空间

在$\mathbf{A}\in {\mathbb{R}}^{m\times n}$中，由$\mathbf{A}\mathbf{x}=\mathbf{b}$得到列空间$C(\mathbf{A})$，或称值域、像.

当$\mathbf{A}\mathbf{x}=0$时所有解的集合$\mathbf{x}$得到零空间$N({\mathbf{A}}^{})$，或称核$\text{Ker}({\mathbf{A}}^{})$.

由${\mathbf{A}}^{\top }\mathbf{y}=\mathbf{b}$或${\mathbf{y}}^{\top }\mathbf{A}={\mathbf{b}}^{\top }$得到行空间$C({\mathbf{A}}^{\top })$，或记作$R(\mathbf{A})$，或称余像.

当${\mathbf{A}}^{\top }\mathbf{y}=0$得到左零空间$N({\mathbf{A}}^{\top })$，或称上核.

其中，$C({\mathbf{A}}^{\top })、N({\mathbf{A}}^{})\in {\mathbb{R}}^n$，$C(\mathbf{A})、N({\mathbf{A}}^{\top })\in {\mathbb{R}}^m$.

  矩阵基本子空间的维度和正交补$V^{\perp }$：

  $\dim C({\mathbf{A}}^{\top })=\dim C(\mathbf{A})=\text{r}(\mathbf{A})=r$.

  因为${\mathbf{x}}^{\top }({\mathbf{A}}^{\top }\mathbf{y})=(\mathbf{A}\mathbf{x}{)}^{\top }\mathbf{y}=0$，$N({\mathbf{A}}^{})\cup C({\mathbf{A}}^{\top })={\mathbb{R}}^n$，所以零空间$N({\mathbf{A}}^{})$和行空间$C({\mathbf{A}}^{\top })$互为正交补，维度和是
$$\dim C({\mathbf{A}}^{\top })+\dim N(\mathbf{A})=r+(n-r)=n.$$  因为${\mathbf{y}}^{\top }(\mathbf{A}\mathbf{x})=({\mathbf{A}}^{\top }\mathbf{y}{)}^{\top }\mathbf{x}=0$，$N({\mathbf{A}}^{\top })\cup C(\mathbf{A})={\mathbb{R}}^m$，所以左零空间$N({\mathbf{A}}^{\top })$和列空间$C(\mathbf{A})$互为正交补，维度和是
$$\dim C(\mathbf{A})+\dim N({\mathbf{A}}^{\top })=r+(m-r)=m.$$  矩阵空间的基： 初等行变换不改变行空间和零空间，初等列变换不改变列空间和左零空间. 对$\mathbf{A}$作初等行变换，

  1.行空间$C({\mathbf{A}}^{\top })$一组基由行向量的最大线性无关组构成，或行最简型的非零行向量.

  2.零空间$N({\mathbf{A}}^{})$一组基由使$\mathbf{A}$的列向量通过线性组合所得到的结果为$0$的向量构成，即方程$\mathbf{A}\mathbf{x}=0$的基础解系.

  3.列空间$C(\mathbf{A})$一组基由列向量的最大线性无关组构成，即独立主元列.

  4.左零空间$N({\mathbf{A}}^{\top })$一组基由使$\mathbf{A}$的行向量通过线性组合得到的结果为$0$的向量构成，即方程${\mathbf{A}}^{\top }\mathbf{y}=0$的基础解系.

例1	证明若${\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=0$，则$\mathbf{A}\mathbf{x}=0$.
证一	由${\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=0$得 $\mathbf{A}\mathbf{x}$在$\mathbf{A}$的左零空间$N({\mathbf{A}}^{\top })$ $\mathbf{A}\mathbf{x}$又在$\mathbf{A}$的列空间$C(\mathbf{A})$ 又$N({\mathbf{A}}^{\top })\perp C(\mathbf{A})$ 得$\mathbf{A}\mathbf{x}=N({\mathbf{A}}^{\top })\cap C(\mathbf{A})=0$
证二	令$f(\mathbf{x})={\mathbf{x}}^{\top }{\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}={\mathbf{x}}^{\top }0=0=(\mathbf{A}\mathbf{x}{)}^{\top }\mathbf{A}\mathbf{x}$ 得$\mathbf{A}\mathbf{x}=0$

例2

求矩阵$\mathbf{A}=\left(\begin{array}{ccccc}1& 3& 1& 4& 1\\ 2& 7& 3& 9& 2\\ 1& 5& 3& 1& 1\\ 1& 2& 0& 8& 1\end{array}\right)$的列空间、零空间、行空间和左零空间.

解

记$\mathbf{A}=\left(\begin{array}{ccccc}{\mathbf{c}}_1& {\mathbf{c}}_2& {\mathbf{c}}_3& {\mathbf{c}}_4& {\mathbf{c}}_5\end{array}\right)$ 化为行最简型得$\mathbf{A}=\left(\begin{array}{ccccc}1& 3& 1& 4& 1\\ 2& 7& 3& 9& 2\\ 1& 5& 3& 1& 1\\ 1& 2& 0& 8& 1\end{array}\right)\sim \left(\begin{array}{ccccc}1& 0& -2& 0& 1\\ 0& 1& 1& 0& 0\\ 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0\end{array}\right)=\left(\begin{array}{c}{\mathbf{b}}_1\\ {\mathbf{b}}_2\\ {\mathbf{b}}_3\\ {\mathbf{b}}_4\end{array}\right)$ ${\mathbf{A}}^{\top }$化为行最简型得${\mathbf{A}}^{\top }\sim \left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 1\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right)$ 则$\text{r}(\mathbf{A})=3$ 得 C ( A ) = Span { c 1 ,   c 2 ,   c 4 } C(\boldsymbol{A})=\text{Span}\{\boldsymbol{c}_1,\,\boldsymbol{c}_2,\,\boldsymbol{c}_4\} C(A)=Span{c1​,c2​,c4​} 得 C ( A ⊤ ) = Span { b 1 ,   b 2 ,   b 3 } C(\boldsymbol{A}^{\top})=\text{Span}\{\boldsymbol{b}_1,\,\boldsymbol{b}_2,\,\boldsymbol{b}_3\} C(A⊤)=Span{b1​,b2​,b3​} 考虑变换$\mathbf{A}\mathbf{x}=0$ 则$\{\begin{array}{ll}{x}_1& =2x_3-x_5\\ x_2& =-x_3\\ x_4& =0\end{array}$ 令$\left(\begin{array}{c}{x}_3\\ x_5\end{array}\right)=\left(\begin{array}{c}1\\ 0\end{array}\right)或\left(\begin{array}{c}0\\ 1\end{array}\right)$ 得 N ( A ) = Span { ( 2 − 1 1 0 0 ) ,   ( − 1 0 0 0 0 ) } N(\boldsymbol{A}^{})=\text{Span}\{\begin{pmatrix}2\\-1\\1\\0\\0\end{pmatrix},\,\begin{pmatrix}-1\\0\\0\\0\\0\end{pmatrix}\} N(A)=Span{⎝⎜⎜⎜⎜⎛​2−1100​⎠⎟⎟⎟⎟⎞​,⎝⎜⎜⎜⎜⎛​−10000​⎠⎟⎟⎟⎟⎞​} 同理考虑变换${\mathbf{A}}^{\top }\mathbf{y}=0$ 得 N ( A ⊤ ) = Span { ( 0 − 1 − 1 1 ) } N(\boldsymbol{A}^{\top})=\text{Span}\{\begin{pmatrix}0\\-1\\-1\\1\end{pmatrix}\} N(A⊤)=Span{⎝⎜⎜⎛​0−1−11​⎠⎟⎟⎞​}

应用一 最小二乘法的线性拟合

3.0 向量范数

  为比较向量的大小，引入向量范数，实现从向量到标量的映射. 定义$L_p$范数：
$$L_p=\Vert \mathbf{x}{\Vert }_p=\sqrt[p]{\sum _{i=1}^n{x}_i^p}$$
  $L_0$范数表示向量中非零元素的个数，不是真正意义上的范数.

  $L_1$范数（曼哈顿范数、最小绝对误差、稀疏规则算子）即求向量各元素之和$\begin{array}{r}\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n|x_i|\end{array}$. 通过$L_1$可以实现特征的稀疏，去掉一些没有信息的特征. $L_1$范数可以度量两个向量间的差异，如绝对误差和
$$\text{SAD}(\mathbf{x},\mathbf{y})=\sum _{i=1}^n|x_i-y_i|$$
  $L_2$范数（欧几里得范数）用来做优化目标函数的正则化项，防止模型过拟合，提高泛化能力. $\begin{array}{r}\Vert \mathbf{x}\Vert =\sqrt[]{\sum _{i=1}^n{x}_i^2}\end{array}$用于度量欧氏距离，则空间中两向量的距离或称均方误差
$$\text{MSE}(\mathbf{x},\mathbf{y})=\sqrt[]{\sum _{i=1}^n(x_i-y_i{)}^2}$$

3.1 投影矩阵与投影向量

  设$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，考虑方程$\mathbf{A}\mathbf{w}=\mathbf{y}$无解$\iff \mathbf{y}$不在$C(\mathbf{A})$中. 要在$C(\mathbf{A})$中找到一个$\hat{\mathbf{y}}$，才能使方程有解. 且使得$\hat{\mathbf{y}}$与$\mathbf{y}$的距离最小，$\hat{\mathbf{y}}$就是$\mathbf{y}$在$C(\mathbf{A})$的投影，从而得到$\hat{\mathbf{w}}$​.

  投影误差向量$\mathbf{\epsilon }=\mathbf{y}-\hat{\mathbf{y}}$，令$L_2$范数即模长最小，可求导证明：
$$\begin{array}{rl}\frac{\partial \Vert \mathbf{\epsilon }{\Vert }^2}{\partial \hat{\mathbf{w}}}& =\frac{\partial \Vert \mathbf{y}-\mathbf{A}\hat{\mathbf{w}}{\Vert }^2}{\partial \hat{\mathbf{w}}}\\ & =\frac{\partial (\mathbf{y}-\mathbf{A}\hat{\mathbf{w}}{)}^{\top }(\mathbf{y}-\mathbf{A}\hat{\mathbf{w}})}{\partial \hat{\mathbf{w}}}\\ & =\frac{\partial ({\mathbf{y}}^{\top }\mathbf{y}-\partial {\hat{\mathbf{w}}}^{\top }{\mathbf{A}}^{\top }\mathbf{y}-\partial {\mathbf{y}}^{\top }\mathbf{A}\hat{\mathbf{w}}+\partial {\hat{\mathbf{w}}}^{\top }{\mathbf{A}}^{\top }\mathbf{A}\hat{\mathbf{w}})}{\partial \hat{\mathbf{w}}}\\ & ={\mathbf{A}}^{\top }\mathbf{A}\hat{\mathbf{w}}-{\mathbf{A}}^{\top }\mathbf{y}\\ & =0\end{array}$$
  由于$({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}$可逆，解得$\hat{\mathbf{w}}=({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}{\mathbf{A}}^{\top }\mathbf{y}$，此时取得$\min \Vert \mathbf{\epsilon }\Vert$. 记$\mathbf{P}=\mathbf{A}({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}{\mathbf{A}}^{\top }$为向量向$C(\mathbf{A})$的投影矩阵，投影向量是
$$\hat{\mathbf{y}}=\mathbf{A}({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}{\mathbf{A}}^{\top }\mathbf{y}$$

3.2 多元线性回归

  设${\mathbb{R}}^m$内得一个超平面方程是$y=w_1{x}_1+w_2{x}_2+\cdots +w_{m-1}{x}_{m-1}+b$，$m⩾2$，所求参数为$\mathbf{w}=\left(\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_{m-1}\\ b\end{array}\right)\in {\mathbb{R}}^m$. 现有$k$个$m$维向量，其坐标为$$\left(\begin{array}{c}{\mathbf{x}}_1^{\top }\\ {\mathbf{x}}_2^{\top }\\ ⋮\\ {\mathbf{x}}_k^{\top }\end{array}\right)=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \cdots & x_{1m-1}& y_1\\ x_{21}& x_{22}& \cdots & x_{2m-1}& y_2\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{k1}& x_{k2}& \cdots & x_{km-1}& y_k\end{array}\right)$$（行向量表示）.
  为方便表示，令投影空间$\mathbf{X}=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \cdots & x_{1m-1}& 1\\ x_{21}& x_{22}& \cdots & x_{2m-1}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{k1}& x_{k2}& \cdots & x_{km-1}& 1\end{array}\right)$，被投影向量$\mathbf{y}=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_k\end{array}\right)$，带入超平面方程得$\mathbf{X}\mathbf{w}=\mathbf{y}$，即转化为求$\mathbf{y}$在$C(\mathbf{X})$下的投影$\hat{\mathbf{y}}$：
$$\hat{\mathbf{w}}=({\mathbf{X}}^{\top }\mathbf{X}{)}^{-1}{\mathbf{X}}^{\top }\mathbf{y}$$
此时$\hat{\mathbf{y}}=\mathbf{X}\hat{\mathbf{w}}$.

  最终得到拟合方程：$x_m={\hat{w}}_1{x}_1+{\hat{w}}_2{x}_2+\cdots +{\hat{w}}_m{x}_m+\hat{b}$.

例1

在${\mathbb{R}}^2$中有点$(0,6)$、$(1,0)$、$(2,0)$，拟合直线$y=wx+b$.

解

令$\mathbf{y}=\left(\begin{array}{c}{y}_1\\ y_2\\ y_3\end{array}\right)=\left(\begin{array}{c}6\\ 0\\ 0\end{array}\right)$，$\mathbf{X}=\left(\begin{array}{cc}{x}_1& 1\\ x_2& 1\\ x_3& 1\end{array}\right)=\left(\begin{array}{cc}0& 1\\ 1& 1\\ 2& 1\end{array}\right)$，$\mathbf{w}=\left(\begin{array}{c}w\\ b\end{array}\right)$ 转化为对于$\mathbf{y}=\mathbf{X}\mathbf{w}$，求$\mathbf{y}$在$\mathbf{X}$下的投影 所以$\hat{\mathbf{w}}=({\mathbf{X}}^{\top }\mathbf{X}{)}^{-1}{\mathbf{X}}^{\top }\mathbf{y}=\left(\begin{array}{c}-3\\ 5\end{array}\right)$ 即$\hat{y}=-3x+5$

例2

在${\mathbb{R}}^3$中有点$(0,5,2)$、$(1,0,1)$、$(2,0,2)$、$(1,1,1)$，拟合平面$z=w_{1}x+x_{2}y+b$.

解

令$\mathbf{y}=\left(\begin{array}{c}{y}_1\\ y_2\\ y_3\\ y_4\end{array}\right)=\left(\begin{array}{c}2\\ 1\\ 2\\ 1\end{array}\right)$， $\mathbf{X}=\left(\begin{array}{ccc}{x}_{11}& x_{12}& 1\\ x_{21}& x_{22}& 1\\ x_{31}& x_{32}& 1\\ x_{41}& x_{42}& 1\end{array}\right)=\left(\begin{array}{ccc}0& 5& 1\\ 1& 0& 1\\ 2& 0& 1\\ 1& 1& 1\end{array}\right)$， 要求$\mathbf{w}=\left(\begin{array}{c}{w}_1\\ w_2\\ b\end{array}\right)$ 转化为对于$\mathbf{y}=\mathbf{X}\mathbf{w}$，求$\mathbf{y}$在$\mathbf{X}$下的投影 所以$\hat{\mathbf{w}}=({\mathbf{X}}^{\top }\mathbf{X}{)}^{-1}{\mathbf{X}}^{\top }\mathbf{y}=\left(\begin{array}{c}\begin{array}{rl}& \frac{10}{9}\\ & \frac{4}{9}\\ -& \frac{5}{18}\end{array}\end{array}\right)$ 即$\begin{array}{r}z=\frac{10}{9}y+\frac{2}{5}x-\frac{5}{18}\end{array}$

验证一下：例2Mathematica拟合代码：

y = ({	{2}, {1}, {2}, {1}  })
X = ({ 	{0, 5, 1}, 
		{1, 0, 1}, 
		{2, 0, 1},
        {1, 1, 1},  })
w = Inverse[(Transpose[X].X)].Transpose[X].y

Show[Plot3D[(10/9)*x + (4/9)*y - (5/18), {x, -2, 5}, {y, -2, 6}],
 Graphics3D[{Green, PointSize[.016], Point[{0, 5, 2}]}],
 Graphics3D[{Green, PointSize[.016], Point[{1, 0, 1}]}], 
 Graphics3D[{Green, PointSize[.016], Point[{2, 0, 2}]}],
 Graphics3D[{Green, PointSize[.016], Point[{1, 1, 1}]}]]

例2sklearn拟合代码：

# 导入线性回归模型
from sklearn import linear_model 
from sklearn.linear_model import LinearRegression
# 建立线性回归模型
reg = linear_model.LinearRegression() 
# 调用 fit 方法来拟合数组 (X，y)
reg.fit ([[0,5], [1,0], [2,0], [1,1]], [2, 1, 2, 1]) 
LinearRegression(copy_X=True, #直接在原始样本计算，而非其复制
                 fit_intercept=True, # 计算截距
                 n_jobs=1, # 与CPU计算有关
                 normalize=False) # 不标准化
# 线性模型系数w存储在coef_
# 截距存储在reg.intercept_
print("z=",reg.coef_[0],
      "x+",reg.coef_[1],
      "y",reg.intercept_)

# output：z=1.1111111111111112x+0.4444444444444444y-0.2777777777777777

上下篇参考资料链接

什么是主成分分析(PCA)_Hsuty

奇异值分解（SVD）原理总结_小白学视觉

ZhiHu_问答界面

矩阵论（二）相似变换_乌兰巴托海军

1.9 线性变换的矩阵（第1章 线性代数中的线性方程组）_泰克尼客