一基本概念:
(1)硬聚类:
每个样本只能有一个标签。(非1即0)
(2)软聚类:
软聚类就是把数据以一定的概率分到各类中,比如高斯混合模型(GMM),比如模糊C均值模型(Fuzzy c-Means)。聚类的结果往往是样本1在A类的概率是0.7,在B类的概率是0.3。软聚类又称为模糊聚类。
二.相关技术
1.自编码器(auto-encoder)
自编码器是一种能够通过无监督学习,学到输入数据高效表示的人工神经网络。
(1)瓶颈层(bottleneck layer)
网络由编码器和解码器组成,在瓶颈层(bottleneck layer)前的是编码器,在瓶颈层后的是解码器。
(2)基本框架
由编码器学习输入数据的潜在特征,将高维特征映射到低维子空间中,输入给聚类模型进行聚类,而解码器则对特征进行”恢复“,使得特征重构成原始数据,这有利于网络学习更加重要的特征,忽略一些不重要的特征。
(3)优缺点
优点:
编码器可以将输入的原始数据进行高效表示,学习原始数据中的重要信息,且表示后的数据其维度一般远小于输入数据,使得自编码器可用于降维。更重要的是,自编码器可作为强大的特征检测器(feature detectors),应用于深度神经网络的预训练=)。此外,自编码器还可以随机生成与训练数据类似的数据,这被称作生成模型(generative model)。比如,可以用人脸图片训练一个自编码器,它可以生成新的图片。
缺点:
容易出现”blue sky problem“, 如果目标与背景大小相差较大,则网络在学习当中容易忽略目标特征。
2.卷积神经网络
卷积神经网络是一种带有卷积结构的深度神经网络,卷积结构可以减少深层网络占用的内存量,其三个关键的操作,其一是局部感受野,其二是权值共享,其三是pooling层,有效的减少了网络的参数个数,缓解了模型的过拟合问题。