基于半监督学习的分类器设计_半監督模型-變分編碼器vae,只關注發生異常的cnc機台。目前對於半監督模型的閾值選-CSDN博客

传统的机器学习方法通常只考虑有标签的数据（已经分类或标记的数据）或者只利用未标签的数据（没有分类或标记的数据）。然而，在许多实际问题中，这两种类型的数据同时存在。此时，仅仅利用有限的标签数据无法满足监督学习的训练需求，而只使用无监督学习无法充分利用标签数据中的信息。因此，如何更有效地同时利用这两种数据成为一个备受关注的问题。为了解决这个问题，人们提出了半监督学习，它能够同时利用有标签数据的信息和未标签数据中的隐含信息，以达到比仅使用一种数据信息更好的学习效果。半监督学习自问世以来，因其在处理这类情况时的出色表现，受到了国际机器学习和数据挖掘界的高度关注。

研究内容

无监督学习

无监督学习是一种机器学习技术，其目标是从未标记的数据中发现数据的结构、模式和关系，而无需任何预先给定的标签或类别信息。与监督学习不同，无监督学习不依赖于人工标记的数据集，而是通过算法自动地对数据进行处理和学习。其中模型不使用训练数据集进行监督。相反，模型本身会从给定数据中找到隐藏的模式和见解。它可以比作在学习新事物时发生在人脑中的学习。它可以定义为：利用模型使用未标记的数据集进行训练，并允许在没有任何监督的情况下对该数据进行操作。

在无监督学习中，输入数据被视为一个整体，算法的任务是发现数据中的内在结构或隐藏的模式。这可以通过聚类、降维和关联规则挖掘等技术来实现。

聚类(Clustering)：聚类是无监督学习中常用的技术之一，它将数据分成具有相似特征的组或簇。聚类算法试图在数据中找到相似性，并将相似的数据点分组在一起，形成簇。常见的聚类算法包括K-means、层次聚类和DBSCAN等。

降维(DimensionalityReduction)：降维是将高维数据映射到低维空间的过程，同时保留尽可能多的信息。降维可以帮助我们理解和可视化数据，减少计算复杂性，并去除数据中的噪声和冗余信息。常见的降维方法有主成分分析(PCA)、线性判别分析(LDA)和t-SNE等。

关联规则挖掘(AssociationRuleMining)：关联规则挖掘用于发现数据中的相关性和频繁项集。它可以揭示数据中的潜在关联关系，例如市场篮子分析中的商品关联性。Apriori算法和FP-growth算法是常用的关联规则挖掘算法。

无监督学习方法—K均值聚类算法

K-means是一种常用的聚类算法，用于将数据集中的数据点划分为K个不同的簇。算法的目标是将相似的数据点分配到同一个簇中，并尽量使簇内的数据点相似度较高，而不同簇之间的数据点相似度较低。K-means算法的基本思想是通过迭代的方式进行数据点的分配和簇中心的更新，以最小化簇内数据点与其所属簇中心的距离。

算法的步骤如下：

1、随机设置K个特征空间内的点作为初始的聚类中心

2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别

3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）

4、如果计算得出的新中心点与原中心点一样，那么结束，否则重新进行第二步过程

K-means算法的输出结果是将数据点划分为K个簇，并找到了每个簇的中心点。这些中心点代表了整个簇的特征，可以用于后续的数据分析和可视化。K-means算法具有简单易实现、计算效率高的优点，适用于处理大规模数据集。

然而，K-means算法也存在一些限制。首先，它对初始簇中心点的选择敏感，不同的初始点可能导致不同的聚类结果。其次，K-means算法容易陷入局部最优解，无法保证找到全局最优解。此外，K-means算法在处理非球形簇、噪声数据或具有不同密度的簇时效果较差。

半监督学习

半监督学习也属于机器学习领域，是介于无监督学习和监督学习之间的一种学习理论。狭义上，同时采用标签数据和未标签数据的机器学习方法是半监督学习:广义上，利用一定的先验知识(标签数据、样本分布函数、数据各类别数目比例或样本类别数目等)，同时采用了未标签数据进行的学习均属于半监督学习。

与监督学习不同，半监督学习的训练数据中只有一小部分数据被标记，而大部分数据没有标签。这是因为在实际应用中，标记大量数据的成本往往很高，而获取未标签的数据相对容易且廉价。半监督学习的目标是通过利用未标签数据的信息，提高模型的泛化能力和性能。在少量标签数据和大量未标签数据情况下，半监督学习往往可以获得比监督学习和无监督学习更好的学习效果，这使其受到广泛的关注。

半监督学习的方法可以分为两类：生成模型和分布假设。

生成模型方法：生成模型假设数据是由一个潜在的隐变量和可见变量共同生成的。半监督学习中的生成模型方法尝试建立一个生成模型，通过对未标签数据的建模来估计模型参数，并通过标记数据进行监督学习。常见的生成模型方法包括生成对抗网络(GAN)、隐变量模型(VAE)等。

分布假设方法：分布假设方法基于一个假设，即未标签数据和标签数据应该具有相似的分布。这些方法试图通过在特征空间中对相似的样本进行聚类或连续性建模，来利用未标签数据的信息。常见的分布假设方法包括自训练、半监督聚类等。

基于距离迭代的半监督学习机

基于距离的迭代分类方法是一种半监督学习方法，核心思想是利用未标记数据和已标记数据之间的距离关系来提高分类性能，它利用已知类别的数据点之间的距离信息来指导未知类别的数据点的分类。该方法通常包括以下步骤：

1.初始化：首先，将有标签的数据点的类别信息用于初始化分类结果。这些已知类别的数据点被视为已分类数据。

2.计算距离：对于未分类的数据点，计算它们与已分类数据点之间的距离。常见的距离度量包括欧氏距离、曼哈顿距离等。

3.分配类别：将未分类的数据点分配给与其距离最近的已分类数据点的类别。通常使用最近邻法来选择最近的已分类数据点。

4.更新分类结果：将刚刚分配的类别更新到未分类数据点的分类结果中。

5.迭代过程：重复步骤2至4，直到所有的数据点都被分类。每次迭代都会根据当前的分类结果计算新的距离，并更新分类结果。

这种方法在每次迭代中通过利用已分类数据点的信息，逐步将未分类数据点进行分类。通过迭代的方式，分类结果逐渐收敛，直到所有数据点都被正确分类或达到预定的迭代次数。能够充分利用未标记数据，将其用于训练分类器，从而扩大了可用于学习的数据集。这对于数据稀缺或标记成本高昂的情况下特别有用,降低了标记数据的需求。

但是，基于距离的迭代的半监督学习方法依赖于伪标签的准确性。如果初始分类器的性能较差或未标记数据中存在噪声，伪标签可能会引入错误的信息，导致分类器性能下降。或者说如果未标记数据与已标记数据在特征空间中的分布存在差异，基于距离的迭代方法可能无法有效利用未标记数据。这种情况下，分类器可能会受到数据分布偏差的影响，导致性能下降。

研究方案

基于理想贝叶斯分类机设计

理想贝叶斯分类器（Ideal Bayesian Classifier）是一种基于贝叶斯定理的分类算法，它假设数据符合理想的条件，即特征之间相互独立且符合特定的概率分布。以下是理想贝叶斯分类器的基本实现过程：

1.数据准备：收集并准备用于训练和测试的数据集。数据集应包含已知类别的样本，以及与每个样本相关联的特征。

2.特征选择：根据任务需求选择合适的特征。特征应具有区分不同类别的能力。

3.计算先验概率：对于每个类别，计算在训练集中该类别的样本所占的比例。这些比例将作为先验概率，用于后续的分类计算。

4.估计类别条件概率：对于每个特征和每个类别，估计条件概率分布。根据理想贝叶斯分类器的假设，特征之间相互独立，因此可以将联合概率分解为各个特征的条件概率的乘积。

5.分类预测：对于测试集中的每个样本，使用贝叶斯定理计算后验概率，并选择具有最高后验概率的类别作为预测结果。

流程图如下：

基于K均值聚类算法的无监督学习分类机设计

K均值聚类是一种迭代算法，用于将数据集划分为K个簇，其中每个数据点属于离其最近的均值（质心）所对应的簇。以下是在MATLAB中使用K均值聚类算法的步骤的中文描述：

1.选择要创建的簇的数量K。

2.随机选择K个初始的簇质心，或者使用一种启发式方法来选择初始质心，例如k-means++算法。

3.对每个数据点，计算其与所有质心之间的距离，并将其分配给距离最近的簇。

4.更新每个簇的质心，将其设置为该簇中所有数据点的平均值。

5.重复步骤3和步骤4，直到质心的变化小于设定的阈值，或达到最大迭代次数。

6.最终得到K个簇及其质心，每个数据点被分配给一个簇。

流程图如下：

基于距离迭代的半监督学习分类机设计

基于距离的迭代半监督学习方法，其主要思想是通过计算数据点之间的距离来进行分类。

算法的核心思想如下：

1.初始化：首先，根据输入的含标签数据集，将已知标签的数据点的类别信息存储在结果矩阵中。

2.距离计算：根据输入的无标签无序号的数据集，计算数据点之间的距离矩阵。这里使用欧氏距离作为度量标准。

3.分类迭代：进入迭代过程，循环执行以下步骤直到所有未分类数据都被分类：

a. 对于每个未分类数据点，利用已分类的点计算其到各个类别的距离，并找到距离最近的类别。

b. 对于每个类别，找到以该类别为目标的未分类数据点中距离最近的点，并将其分配给该类别。

4.可视化：在每次迭代中，根据当前的分类结果，绘制数据点的散点图，并使用不同的颜色表示不同的类别。这样可以帮助观察分类的变化和结果的收敛情况。

5.结束条件：迭代过程直到所有未分类数据点都被分配到某个类别，即结果矩阵中不存在未分类数据点（值为0的元素）。

仿真分析

理想贝叶斯分类器仿真

数据集采用（-3.3，3.3）之间的随机数进行检验，通过对该组测试数据进行理想贝叶斯分类，可以得到的结果如下：

理想贝叶斯分类器所得到的分类数据可以得到较好的分类结果。由于理想贝叶斯分类器假设特征之间相互独立且符合特定的概率分布，因此在数据满足这些假设的情况下，理想贝叶斯分类器可以达到最优的分类性能，通过计算准确率可以达到99%。

无监督分类机仿真

数据集采用（-3.3，3.3）之间的随机数进行检验，通过对该组测试数据进行无监督分类，采用Kmeans算法分类，可以得到的结果如下：

通过图示分析：

1.我们可以看出K均值聚类无监督分类机具有一定的分类性能，从图3中可以看出它将测试数据大致均匀的分成了四类，但是聚类的中心与理论的四均份分类仍有一些偏差，精度准确率有待提高。

2.对于同一个数据集，运行多次K均值聚类会出现不同的结果，例如图3与图4均是分为4类，但是得到的分类结果却不一样。

3.对于不同的数据集采用K均值聚类分析，得到的图像也有所不同，如图3与图5。

4.通过分析内部性能参数，如轮廓系数，Calinski-Harabasz指数等，可以发现使用K均值聚类选择的聚类数越多，内部性能偏向于不断改善，而且分类数越与实际类数相近，内部性能越优秀

半监督学习分类机仿真

仿真结果如下：

通过图示分析：

半监督学习算法可以根据自己的分类类别进行学习分类，得到的准确率与稳定性相比无监督学习有了提高。如图

已知数据类别的数目也会对分类结果产生影响，通过对比图6，与图7，随着已标记的样本的数目不断增大，分类器的分类效果会更好。

已知50样本通过验证得到的准确率可以达到93%，当已知100样本的时候准确率可以提升到96%。

结论

通过对比无监督学习机和半监督学习机的仿真结果，无监督学习机没有使用任何标签或外部指导，算法需要初始化聚类中心。不同的初始聚类中心选择方法可能导致不同的聚类结果。所以算法的迭代过程中，涉及随机的数据点分配到聚类中心和更新聚类中心的操作。这种随机性可能导致不同的运行得到不同的结果，对初始条件非常敏感，因此得到的分类结果可能与我们想要的结果有一定的偏差，需要人工去手动纠正，但是半监督分类机由于有标定数据的引导，因此得到的分类结果会更符合我们的要求。对于准确性来说，半监督学习的准确性受到标记数据和无标签数据的质量和数量的影响，所以当已知的样本类别的准确性以及数量有一定的保证下，半监督学习分类器的性能准确性会优于无监督学习机，如果能对这两类算法进行进一步的优化，可以得到更好的结果。