无监督学习

  无监督学习（ Unsupervised Learning ， UL ）是指从无标签的数据中学习出一些有用的模式．无监督学习算法一般直接从原始数据中学习，不借助于任何人工给出标签或者反馈等指导信息．

典型的无监督学习问题可以分为以下几类：

• 无监督特征学习（ Unsupervised Feature Learning ）是从无标签的训练数据中挖掘有效的特征或表示．无监督特征学习一般用来进行降维、数据可视化或监督学习前期的数据预处理．
• 概率密度估计（ Probabilistic Density Estimation ）简称密度估计，是根据一组训练样本来估计样本空间的概率密度．
• 聚类（ Clustering ）是将一组样本根据一定的准则划分到不同的组（也称为簇（ Cluster ））．

9.1 无监督特征学习

  无监督特征学习是指从无标注的数据中自动学习有效的数据表示，从而能够帮助后续的机器学习模型更快速地达到更好的性能．

无监督特征学习主要方法如下：

  主成分分析（ Principal Component Analysis ， PCA ）是一种最常用的数据降维方法，使得在转换后的空间中数据的方差最大．主成分分析是一种无监督学习方法，可以作为监督学习的数据预处理方法，用来去除噪声并减少特征之间的相关性，但是它并不能保证投影后数据的类别可分性更好．提高两类可分性的方法一般为监督学习方法，比如线性判别分析.

  稀疏编码（ Sparse Coding ）是指外界信息经过编码后仅有一小部分神经元激活，即外界刺激在视觉神经系统的表示具有很高的稀疏性.稀疏编码的每一维都可以被看作一种特征．和基于稠密向量的分布式表示相比，稀疏编码具有更小的计算量和更好的可解释性等优点．

  自编码器（ Auto-Encoder ， AE ）是通过无监督的方式来学习一组数据的有效编码（或表示）．

  自编码器除了可以学习低维编码之外，也能够学习高维的稀疏编码．假设中间隐藏层 z 的维度 M 大于输入样本 x 的维度 D ，并让 z 尽量稀疏，这就是稀疏自编码器（ Sparse Auto-Encoder ）．

  了获取更好的数据表示，我们可以使用更深层的神经网络．深层神经网络作为自编码器提取的数据表示一般会更加抽象，能够更好地捕捉到数据的语义信息．在实践中经常使用逐层堆叠的方式来训练一个深层的自编码器，称为堆叠自编码器（ Stacked Auto-Encoder ， SAE ）．

  降噪自编码器（ Denoising Auto-Encoder ）就是一种通过引入噪声来增加编码鲁棒性的自编码器 ．

9.2 概率密度估计

  概率密度估计（ Probabilistic Density Estimation ），简称密度估计（ Den-sity Estimation ），是基于一些观测样本来估计一个随机变量的概率密度函数．

  密度估计方法可以分为两类：参数密度估计和非参数密度估计．

• 参数密度估计（ Parametric Density Estimation）是根据先验知识假设随机变量服从某种分布，然后通过训练样本来估计分布的参数．
• 非参数密度估计（ Nonparametric Density Estimation ）是不假设数据服从某种分布，通过将样本空间划分为不同的区域并估计每个区域的概率来近似数据的概率密度函数．
  - 实践中非参数密度估计通常使用两种方式：
  1、 固定区域大小 ，统计落入不同区域的数量，这种方式包括直方图方法和核方法两种；
  2、 改变区域大小以使得落入每个区域的样本数量为 K ，这种方式称为 K 近邻方法．