训练后的网络直接输出语义标签,而不是需要外部处理才能用于语义聚类的高维表示。目标是使每对学生的课堂作业之间的相互信息最大化。它很容易实现,并且严格地以信息论为基础,这意味着我们毫不费力地避免了其他聚类方法容易受到的退化解。
不变的信息聚类
影响其他方法的两个问题:
第一个是聚类退化,即单个聚类控制预测或聚类消失的趋势。由于互信息中的熵最大化成分,如果所有图像被分配到同一类,损失不会最小化。与此同时,由于条件熵最小化,最理想的模型是对每个图像确定地预测单个类(即一个热点)。
第二个问题是带有未知类或干扰类的噪声数据。IIC通过使用一个平行于主输出层的辅助输出层来解决这个问题,这个辅助输出层经过训练来产生一个在测试时被忽略的超聚类。
辅助过聚类是一种通用技术,对其他算法也很有用。IIC的这两个特性使得它成为我们的无监督基线中唯一的方法,该方法足够健壮,可以利用STL10的无标记噪声子集,STL10是ImageNet[14]的一个版本,专门设计作为无监督聚类的基准。
图2:图像聚类的IIC。虚线表示共享参数,g为随机变换,I为互信息(式(3))。
Φ : X → Y,max I(Φ(x), Φ(x 0 )),
最大化I即丢弃特定于实例的细节