模式识别与深度学习作业（二）

题目1：证明样本集合协方差矩阵的特征向量处于样本所张成的空间

即： v ∈ s p a n { x 1 , … , x m } v \in span\{\boldsymbol{x}_1, \dots ,\boldsymbol{x}_m\} v∈span{ x1​,…,xm​}，设有样本集合： X = { x 1 , … , x m } \boldsymbol{X}=\{\boldsymbol{x}_1, \dots ,\boldsymbol{x}_m\} X={ x1​,…,xm​}，假设样本均值为$0$，即：${\sum }_{i=1}^m{\mathbf{x}}_i=0$。

证：样本协方差矩阵为：$\mathbf{C}=\frac{1}{m}{\sum }_{j=1}^m{\mathbf{x}}_j\cdot {\mathbf{x}}_j^{\mathbf{T}}$，令$\lambda$为$\mathbf{C}$的特征值，$\mathbf{v}$为对应的特征向量，则有：
$$\lambda \mathbf{v}=\mathbf{C}\mathbf{v}=\frac{1}{m}\sum _{j=1}^m{\mathbf{x}}_j\cdot {\mathbf{x}}_j^{\mathbf{T}}\mathbf{v}\text{\hspace{1em}(1)}$$
即：
$$\mathbf{v}=\frac{1}{m\lambda }\sum _{j=1}^m{\mathbf{x}}_j^{\mathbf{T}}\mathbf{v}\cdot {\mathbf{x}}_j\text{\hspace{1em}(2)}$$
因此， v ∈ s p a n { x 1 , … , x m } \boldsymbol{v} \in span\{\boldsymbol{x}_1, \dots ,\boldsymbol{x}_m\} v∈span{ x1​,…,xm​}

题目2：推导特征空间中协方差矩阵特征值和特征向量的求解方法

设有样本集合： X = { x 1 , … , x m } \boldsymbol{X}=\{\boldsymbol{x}_1, \dots ,\boldsymbol{x}_m\} X={ x1​,…,xm​}，取非线性映射：$\varphi :R^d\to \mathcal{F}$，$R^d$为样本所处的$d$维欧氏空间，称为输入空间，$\mathcal{F}$为一个Hilbert空间，称为特征空间，样本在特征空间中的内积可以用一个核函数来计算，$k(\mathbf{x},\mathbf{y})=\varphi (\mathbf{x}{)}^{\mathbf{T}}\varphi (\mathbf{y})$。假设样本集合在特征空间中均值为$0$，即：${\sum }_{i=1}^m\varphi ({\mathbf{x}}_i)=0$。
样本在特征空间中的协方差矩阵为：
$$\bar{\mathbf{C}}=\frac{1}{m}\underset{i=1}{}$$