embedded electronic systems for AI/ML 笔记第三篇

无监督学习

为什么？

有时没有好的先验标签（priori labels）：数据聚类（clustering of data）
有时想根据数据集的属性（property）来简化模型：dimensionality reduction（降低维度）

聚类（clustering）

有时数据自然形成聚类，假定特征是连续的，欧几里得距离（Euclidean distance）是相似性的一种测量方法。假定这里有K个类别，那么如何去设定一个基准点（datum）到一个类中呢？

K-means clustering

前提假设：每个聚类中的点靠近聚类中心
若知道聚类，可计算平均值，反之亦然。
从随机开始，两者之间进行迭代（iterate）

工作原理

一种坐标下降（coordinate descent）的形式：先给定平均值（means）优化分配值assignment，再给定分配值assignment优化平均值。
实际上因为没有多项式算法（no polynomial algorithm）找到全局最小值，所以基本问题还是多个局部最小值。
所以每一次的迭代都会收敛到一个局部最小值，我们可以尝试多种随机启动，就比如神经网络。

维度降低（Dimensionality reduction）

有时候我们数据有好多特征而我们不确定哪些特征是重要的，我们可以使用正则化使得一些特征的系数为0，也可以寻找相关变量（correlated variables），不用管目标值（target）是什么。
作用：维度降低可以提高训练速度，通过减少过拟合来预测质量（prediction quality）。
既可以是线性的也可以是非线性的。

主要成分的分析（principal component analysis）

基于数据空间特征向量的线性降维算法：
投影（projection）在一个子空间：对于原空间的每个点xi，找到属于子空间的距离xi最近的点xi’，μ 是 xi 的平均值。

如何评价子空间的好坏

计算所有点距离子空间的平均距离，越小越好。
映射在子空间的点越分散越好。
两个参考标准是：
最小化映射误差或者重构误差。
最大化映射向量的方差。

怎么学习主要成分

用自动编码器（Autoencoder），它是一个用于训练从x预测x的神经网络。
为了使这项任务不那么微不足道，隐蔽层的神经元数量要小于特征的数量。
两层自动编码器简化学习主要成分。
W1 = QT
W2 = Q
更深层次的网络（deeper network）能够学习非线性主要成分。
深度自动解码器比有同等数量参数的PCA更有效更强大。

总结

无监督学习在数据空间中寻找“模式”(pattern)和“关联”(correlations)
无监督学习可以被用于：

1. 数据预处理，减低维度并加快监督学习的收敛。
2. 没有人工标签下发现模式并对数据进行预分类（pre-classify）。

使用线性空间上的线性映射，它可以在正交特征向量的子集上进行投影。
自动编码器将这一原理（无监督学习）推广到非线性映射，就像SVM将线性分离概括为类，而神经网络概括了SVM。