机器学习——无监督学习与分析

一、无监督学习
  对于LR或SVM中的样本，都给出了正确的类标签，因此称为监督学习。当数据样本没有像监督学习那样，给出类标签或所谓的正确答案，那么需要靠算法本身发现数据中的结构，称为无监督学习。

1.1 K-means算法
  聚类的基本思想是，对于给定的数据集合，将数据聚集成若干一致的类。典型的聚类算法是K-means，用于寻找数据集合中的类，算法步骤如下
  （1）从数据中初始化k个类中心点$\mathbf{\mu }$；
  （2）设置第i个样本的类$$c^{(i)}=argmi{n}_j||{\mathbf{x}}^{(i)}-{\mathbf{\mu }}^{(j)}||$$  （3）计算类中心 μ j = ∑ i = 1 m 1 { c ( i ) = j } x ( i ) / ∑ i = 1 m 1 { c ( i ) = j } \bm\mu_j = \sum_{i = 1}^m 1\{c^{(i)} = j\}\bm{x}^{(i)}/ \sum_{i = 1}^m 1\{c^{(i)} = j\} μj​=i=1∑m​1{c(i)=j}x(i)/i=1∑m​1{c(i)=j}  （4）迭代（2）-（3），直到收敛。
  考虑K-means算法的收敛性，定义失真函数$$J(c,\mathbf{\mu })=\sum _{i=1}^m||{\mathbf{x}}^{(i)}-{\mathbf{\mu }}_{c^{(i)}}|{|}^2$$那么K-means算法就是失真函数的坐标上升过程。其交替的固定$c$，改变$\mathbf{\mu }$令函数最优化，之后固定$\mathbf{\mu }$，改变$c$令函数最优化。故失真函数随着迭代次数的上升一定是单调下降的，但由于该函数非凸，有可能收敛到局部最优解。
  K-means的类数是人为选择的。实际上，真正的类数量是十分模糊的概念，所以随机选择类的数量也是一种方法。

1.2 EM算法
  对于某些有一定意义的数据，其可能不服从于任何标准的概率分布，使用密度估计算法估计其概率密度。一般的，一个非标准的分布都可以使用多个高斯函数进行拟合，称为混合高斯模型【GMM】。
  考虑未知的随机变量$\mathbf{z}$，其可能是隐藏的，或者未知的。考虑${\mathbf{x}}^{(i)},{\mathbf{z}}^{(i)}$的联合概率分布$$p({\mathbf{x}}^{(i)},{\mathbf{z}}^{(i)})=p({\mathbf{x}}^{(i)}|{\mathbf{z}}^{(i)})p({\mathbf{z}}^{(i)})$$且${\mathbf{z}}^{(i)}\sim B(k,\varphi )$代表k个高斯分布的概率，以及${\mathbf{x}}^{(i)}|{\mathbf{z}}^{(i)}=j\sim N({\mathbf{\mu }}_j,{\mathbf{\Sigma }}_j)$代表已知的第j个高斯分布的数据概率分布。
  如果${\mathbf{z}}^{(i)}$是已知的，则可以使用极大似然估计，形如$$lnL(\varphi ,\mathbf{\mu },\mathbf{\Sigma })=\sum _{i=1}^{m}logp({\mathbf{x}}^{(i)},{\mathbf{z}}^{(i)};\varphi ,\mathbf{\mu },\mathbf{\Sigma })$$可以得到 ϕ j = ∑ i = 1 m 1 { z ( i ) = j } / m μ j = ∑ i = 1 m 1 { c ( i ) = j } x ( i ) / ∑ i = 1 m 1 { c ( i ) = j } \phi_j = \sum_{i=1}^m 1\{z^{(i)} = j\}/m \\ \bm\mu_j = \sum_{i = 1}^m 1\{c^{(i)} = j\}\bm{x}^{(i)}/ \sum_{i = 1}^m 1\{c^{(i)} = j\} ϕj​=i=1∑m​1{z(i)=j}/mμj​=i=1∑m​1{c(i)=j}x(i)/i=1∑m​1{c(i)=j}然而${\mathbf{z}}^{(i)}$是未知的，可以考虑尝试使用模型猜测${\mathbf{z}}^{(i)}$的值，使用极大似然拟合出更好的参数的值，再去猜测${\mathbf{z}}^{(i)}$的值，并进行迭代。该算法称为最大期望算法，算法步骤如下：
  （1）猜测未知的${\mathbf{z}}^{(i)}$的值；
  （2）最大似然估计参数的值。
  （3）迭代（1）-（2），直到收敛。
详见模式识别——EM算法。

1.3 混合高斯模型的EM算法
  GMM的EM算法中，E步为$$\begin{array}{rl}{w}_j^{(i)}& =p({\mathbf{z}}^{(i)}=j|{\mathbf{x}}^{(i)},\varphi ,\mathbf{\mu },\mathbf{\Sigma })\\ & =p({\mathbf{x}}^{(i)}|{\mathbf{z}}^{(i)}=j)p({\mathbf{z}}^{(i)}=j)/\sum _{l=1}^{c}p({\mathbf{x}}^{(i)}|{\mathbf{z}}^{(i)}=l)p({\mathbf{z}}^{(i)}=l)\end{array}$$其中${\mathbf{x}}^{(i)}|{\mathbf{z}}^{(i)}=j\sim N({\mathbf{\mu }}_j,{\mathbf{\Sigma }}_j)$，$\mathbf{z}\sim B(c,\varphi )$。
  M步为$$ma{x}_{\varphi ,\mathbf{\mu },\mathbf{\Sigma }}\sum _{i=1}^m\sum _{{\mathbf{z}}^{(i)}}{Q}_i({\mathbf{z}}^{(i)})log(p({\mathbf{x}}^{(i)},{\mathbf{z}}^{(i)};\varphi ,\mathbf{\mu },\mathbf{\Sigma })/Q_i({\mathbf{z}}^{(i)}))$$由于 Q i ( z ( i ) ) = w j ( i ) p ( x ( i ) , z ( i ) ) = p ( x ( i ) ∣ z ( i ) ) p ( z ( i ) ) p ( x ( i ) ∣ z ( i ) ) = 1 / ( 2 π ) D / 2 ⋅ 1 / ∣ Σ j ∣ 1 / 2 ⋅ e x p { − ( x ( i ) − μ j ) T Σ − 1 ( x ( i ) − μ j ) / 2 } p ( z ( i ) ) = ϕ j Q_i(\bm{z}^{(i)}) = w_j^{(i)} \\ p(\bm{x}^{(i)}, \bm{z}^{(i)}) = p(\bm{x}^{(i)}|\bm{z}^{(i)})p(\bm{z}^{(i)}) \\ p(\bm{x}^{(i)}|\bm{z}^{(i)}) = 1/(2\pi)^{D/2}·1/|\Sigma_j|^{1/2}·exp\{-(\bm{x}^{(i)} - \bm\mu_j)^T\bm\Sigma^{-1}(\bm{x}^{(i)} - \bm\mu_j)/2\} \\ p(\bm{z}^{(i)}) = \phi_j Qi​(z(i))=wj(i)​p(x(i),z(i))=p(x(i)∣z(i))p(z(i))p(x(i)∣z(i))=1/(2π)D/2⋅1/∣Σj​∣1/2⋅exp{−(x(i)−μj​)TΣ−1(x(i)−μj​)/2}p(z(i))=ϕj​故M步可以写为 m a x ϕ , μ , Σ   ∑ i = 1 m ∑ z ( i ) w j ( i ) l o g ( 1 / ( 2 π ) D / 2 ⋅ 1 / ∣ Σ j ∣ 1 / 2 ⋅ e x p { − ( x ( i ) − μ j ) T Σ − 1 ( x ( i ) − μ j ) / 2 } ϕ j / w j ( i ) ) max_{\phi, \bm\mu, \bm\Sigma}\ \sum_{i=1}^m \sum_{\bm{z}^{(i)}}w_j^{(i)}log(1/(2\pi)^{D/2}·1/|\Sigma_j|^{1/2}·exp\{-(\bm{x}^{(i)} - \bm\mu_j)^T\bm\Sigma^{-1}(\bm{x}^{(i)} - \bm\mu_j)/2\}\phi_j/w_j^{(i)}) maxϕ,μ,Σ​ i=1∑m​z(i)∑​wj(i)​log(1/(2π)D/2⋅1/∣Σj​∣1/2⋅exp{−(x(i)−μj​)TΣ−1(x(i)−μj​)/2}ϕj​/wj(i)​)为了令其最大，需要分别对各参数求梯度，可以得到$$\begin{gathered} {\varphi }_j=\sum _{i=1}^m{w}_j^{(i)}/m \\ {\mathbf{\mu }}_j=\sum _{i=1}^m{w}_j^{(i)}{\mathbf{x}}^{(i)}/\sum _{i=1}^m{\mathbf{x}}^{(i)} \\ {\mathbf{\Sigma }}_j=\sum _{i=1}^m{w}_j^{(i)}({\mathbf{x}}^{(i)}-{\mathbf{\mu }}_j)({\mathbf{x}}^{(i)}-{\mathbf{\mu }}_j{)}^T/\sum _{i=1}^m{\mathbf{x}}^{(i)} \end{gathered}$$

---

二、数据分析算法
2.1 主成分分析
  给定m个样本的训练集合，每个样本都是n维向量，为了得到更低维度的数据集合，使用无监督学习的主成分分析算法【Principal Component Analysis，PCA】。
  PAC算法希望在对数据进行降维后，数据点尽可能的分散，以描述数据的变化情况。首先将数据归一化，包括样本均值归一化，并对样本每个维度标准差归一化，即$$\begin{gathered} \mathbf{\mu }=\sum _{i=1}^m{\mathbf{x}}^{(i)}/m \\ {\mathbf{x}}^{(i)}={\mathbf{x}}^{(i)}-\mathbf{\mu } \\ {\sigma }_j^2=\sum _{i=1}^m(x_j^{(i)}{)}^2/m \\ {x}_j^{(i)}=x_j^{(i)}/{\sigma }_j \end{gathered}$$再考虑单位向量$\mathbf{u}$，那么${\mathbf{x}}^{(i)}$在$\mathbf{u}$上的投影长度为${\mathbf{x}}^{(i)T}\mathbf{u}$，那么PAC可以描述为$$\begin{array}{rl}max& \sum _{i=1}^m({\mathbf{x}}^{(i)T}\mathbf{u}{)}^2/m\\ s.t.& ||\mathbf{u}||=1\end{array}$$其中$$\begin{array}{rl}\sum _{i=1}^m({\mathbf{x}}^{(i)T}\mathbf{u}{)}^2/m& =\sum _{i=1}^m({\mathbf{u}}^T{\mathbf{x}}^{(i)})({\mathbf{x}}^{(i)T}\mathbf{u})/m\\ & ={\mathbf{u}}^T(\sum _{i=1}^m{\mathbf{x}}^{(i)}{\mathbf{x}}^{(i)T}/m)\mathbf{u}\end{array}$$令$\mathbf{\Sigma }={\sum }_{i=1}^m{\mathbf{x}}^{(i)}{\mathbf{x}}^{(i)T}/m$，上述优化问题可以描述为$$\begin{array}{rl}max& {\mathbf{u}}^T\mathbf{\Sigma }\mathbf{u}\\ s.t.& {\mathbf{u}}^T\mathbf{u}=1\end{array}$$其拉格朗日方程为$$L(\mathbf{u},\lambda )={\mathbf{u}}^T\mathbf{\Sigma }\mathbf{u}-\lambda ({\mathbf{u}}^T\mathbf{u}-1)$$求导赋0，得$${▽}_{\mathbf{u}}L=\mathbf{\Sigma }\mathbf{u}-\lambda \mathbf{u}=0$$故$\mathbf{u}$是$\mathbf{\Sigma }$的一个特征向量。实际上，降维的目标维度数，需要选择$\mathbf{\Sigma }$的前数个主特征向量。
  因此PCA算法的步骤如下：
  （1）样本均值归一化，每一维度方差归一化；
  （2）计算样本集合的协方差矩阵$\mathbf{\Sigma }$；
  （3）寻找所需目标维度数量的$\mathbf{\Sigma }$的特征向量。
  PCA算法的缺点在于$\mathbf{\Sigma }$的尺寸问题，当样本是100x100的图像时，其有10000个维度的特征，那么$\mathbf{\Sigma }$将是一个10000x10000尺寸的空间矩阵，其所需的储存空间是巨大的。因此PCA算法更适合于本文数据，并衍生出潜在语义索引【Latent Semantic Indexing，LSI】算法。

2.2 奇异值分解
  上述PCA算法中的问题，可以使用奇异值分解【Singular Value Decomposition，SVD】解决。
  对于矩阵${\mathbf{A}}_{n\times n}$，其总能够分解为三个矩阵的乘积${\mathbf{U}\mathbf{\Sigma }\mathbf{V}}^T$，其中$\mathbf{\Sigma }$是一个对角矩阵，其元素被称为$\mathbf{A}$的奇异值。
  考虑PCA算法中样本集合的协方差矩阵$$\mathbf{\Sigma }=\sum _{i=1}^m{\mathbf{x}}^{(i)}{\mathbf{x}}^{(i)T}/m$$设矩阵$$\mathbf{X}=\left(\begin{array}{c}{\mathbf{x}}^{(1)}\\ ...\\ {\mathbf{x}}^{(m)}\end{array}\right)$$那么$$\mathbf{\Sigma }={\mathbf{X}}^T\mathbf{X}/m$$为了得到数个主特征值，对$\mathbf{X}$进行奇异值分析，形如$$\mathbf{X}={\mathbf{U}\mathbf{D}\mathbf{V}}^T$$那么$\mathbf{V}$的前数列就是$\mathbf{\Sigma }$的数个主特征值。这是解决PCA算法高维协方差矩阵的有效方法。

2.3 独立成分分析
  PCA是用于寻找数据变更的主轴的一个算法，而独立成分分析【Independent Component Analysis，ICA】尝试寻找数据变化的独立组成部分。
  首先介绍累积分布函数【Cumulative Distribution Function，CDF】。考虑一维随机变量$s$，其概率密度函数为$P_s(s)$，那么累积分布函数为$$F(s)=p(S\le s)$$  考虑一个数据$\mathbf{S}$由n个服从于某分布的数据源组成，其中，${\mathbf{S}}_j^{(i)}$表示第j个分布的第i个数据。那么$${\mathbf{X}}^{(i)}=\mathbf{A}{\mathbf{S}}^{(i)}$$其中${\mathbf{X}}_j^{(i)}$表示第j种加权方式得到的第i个数据值。现在已知观测到了$\mathbf{X}$，为了得到源数据$\mathbf{S}$，需要得到$$\mathbf{w}={\mathbf{A}}^{-1}=\left(\begin{array}{c}{\mathbf{w}}_1^T\\ ...\\ {\mathbf{w}}_n^T\end{array}\right)$$使得$$\begin{gathered} {\mathbf{S}}^{(i)}={\mathbf{w}\mathbf{X}}^{(i)} \\ {\mathbf{S}}_j={\mathbf{w}}_j^T\mathbf{X} \end{gathered}$$一般来讲，如果数据是服从于高斯分布的，那么其不可能进行ICA，因为将数据旋转仍然会保持原来的高斯分布。
  令$\mathbf{S}$的概率密度为$P_{\mathbf{S}}(\mathbf{S})$，那么$\mathbf{X}$的概率密度为
$$P_{\mathbf{X}}(\mathbf{X})=P_{\mathbf{s}}(\mathbf{w}\mathbf{X})|\mathbf{w}|$$假设数据之间是独立的，即$$p(\mathbf{S})=\prod _{i=1}^{n}p({\mathbf{S}}_i)$$那么$$p(\mathbf{X})=(\prod _{i=1}^{n}p({\mathbf{w}}_i^T\mathbf{X}))|\mathbf{w}|$$因此需要选择每一个分布的密度$P_{\mathbf{S}}({\mathbf{S}}_i)$，事实上，选择其CDF是更加有效的，因为只需要选择一些函数，其单调的从0增加到1。S形函数是一种常用的函数，没有特殊的原因，仅因为方便，那么 F ( S ) = 1 / ( 1 + e x p { − S } ) P S ( S i ) = d F / d S i F(\bm{S}) = 1/(1 + exp\{-\bm{S}\}) \\ P_{\bm{S}}(\bm{S}_i) = dF/d\bm{S}_i F(S)=1/(1+exp{−S})PS​(Si​)=dF/dSi​这也是公认的合理的选择。
  那么给定数据集 { X ( m ) } \{\bm{X}^{(m)}\} {X(m)}，$\mathbf{w}$的似然函数为$$\begin{gathered} lnL(\mathbf{w})=\sum _{i=1}^{m}log(\prod _{j=1}^n{P}_{\mathbf{S}}({\mathbf{w}}_j^T{\mathbf{X}}^{(i)}))|\mathbf{w}| \\ {P}_{\mathbf{S}}(\mathbf{S})=dF/d\mathbf{S} \end{gathered}$$根据梯度下降法，有$$\mathbf{w}\leftarrow \mathbf{w}+\alpha {▽}_{\mathbf{w}}lnL(\mathbf{w})$$那么$${\mathbf{S}}^{(i)}={\mathbf{w}\mathbf{X}}^{(i)}$$