OpenGAN:基于开放数据生成的开放集识别

简介

简介:这次学习的OpenGAN主要学习一个思路,跳出传统GAN对于判断真假的识别到判断是已知种类还是未知种类。重点内容不在于代码而是思路,会简要给出一个设计的代码。

论文题目:OpenGAN: Open-Set Recognition via Open Data Generation(基于开放数据生成的开放集识别)

期刊:IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE(if=20.8,超级Top)

摘要:现实世界的机器学习系统需要分析可能与训练数据不同的测试数据。 在K-way分类中,这被清晰地表述为开集识别,其核心是区分K个闭集类之外的开集数据的能力。 开集判别的两个概念是:1)通过利用一些离群数据作为开集判别学习开-闭二元判别器; 2)利用GAN的判别器作为开集似然函数,对闭集数据分布进行无监督学习。 然而,由于对训练异常值的过度拟合,前者对各种开放测试数据的泛化效果较差,而训练异常值不太可能详尽地跨越开放世界。 后者不能很好地工作,可能是由于gan的训练不稳定。 在上述的激励下,我们提出了OpenGAN,它通过将每种方法与几个技术见解相结合来解决每种方法的局限性。 首先,我们证明了在一些真实的离群数据上精心选择的gan鉴别器已经达到了最先进的水平。 其次,我们用对抗合成的“假”数据增强真实开放训练样本的可用集。 第三,也是最重要的,我们在封闭世界K-way网络计算的特征上建立了鉴别器。 这使得OpenGAN可以通过建立在现有K-way网络之上的轻量级鉴别器头来实现。 大量的实验表明,OpenGAN显著优于先前的开集方法。

问题背景的具体例子

想象你要训练一个自动驾驶汽车的视觉系统:

  • 训练数据:汽车、行人、红绿灯、建筑物等19个类别
  • 现实问题:路上突然出现婴儿车、街头小摊等训练时没见过的物体
  • 危险后果:系统可能把婴儿车错误识别为"摩托车",导致不当的避让策略

OpenGAN的具体操作流程

第一步:准备基础设施

1. 已有一个训练好的K类分类器(比如识别19种交通场景物体)
2. 从这个分类器的倒数第二层提取特征(不是直接用原始图片)
3. 收集少量"其他"类别的数据作为已知的异常样本

为什么用特征而不用像素?

  • 原始图片:1024×2048×3 = 600万维度,太复杂
  • 提取的特征:可能只有512维,包含了高级语义信息
  • 就像人类识别物体时关注的是形状、纹理,而不是每个像素点

第二步:构建OpenGAN架构

OpenGAN包含两个核心组件:

判别器D(Discriminator)

  • 输入:特征向量
  • 输出:该特征属于"已知类别"的概率
  • 作用:区分"已知"vs"未知"

生成器G(Generator)

  • 输入:随机噪声
  • 输出:假的"未知类别"特征
  • 作用:生成更多样的"未知"样本来训练判别器

第三步:对抗训练过程

这是核心!OpenGAN使用三种数据同时训练:

# 伪代码展示训练过程
for epoch in training:
    # 1. 真实的已知类别数据
    real_closed_features = extract_features(known_class_images)
    
    # 2. 真实的未知类别数据(少量)
    real_open_features = extract_features(outlier_images)
    
    # 3. 生成器创造的假未知数据
    noise = random_noise()
    fake_open_features = Generator(noise)
    
    # 训练判别器:让它学会区分已知和未知
    d_loss = - log(D(real_closed_features))           # 已知类别应该得高分
             - λ_o * log(1-D(real_open_features))     # 真实未知应该得低分  
             - λ_G * log(1-D(fake_open_features))     # 生成未知应该得低分
    
    # 训练生成器:让它生成能骗过判别器的"未知"特征
    g_loss = - log(1-D(Generator(noise)))  # 生成的特征要能骗过判别器

关键参数解释

  • λ_o:控制真实异常数据的重要性
  • λ_G:控制生成假数据的重要性
  • λ_o=0时,就是OpenGAN-0(不使用真实异常数据)

第四步:模型选择的巧妙方法

传统GAN的问题

  • 训练到最后,生成器太强了,判别器分不出真假
  • 判别器失去了区分"已知"和"未知"的能力

OpenGAN的解决方案

  1. 在训练过程中保存多个判别器快照
  2. 用少量真实的异常数据作为验证集
  3. 选择在验证集上表现最好的判别器
# 模型选择过程
best_auroc = 0
best_discriminator = None

for checkpoint in training_checkpoints:
    discriminator = load_checkpoint(checkpoint)
    auroc = evaluate_on_validation_set(discriminator, validation_outliers)
    
    if auroc > best_auroc:
        best_auroc = auroc
        best_discriminator = discriminator

# 使用最佳判别器进行最终预测

第五步:实际应用

在测试时

def predict_open_set(test_image):
    # 1. 提取特征
    features = pretrained_classifier.extract_features(test_image)
    
    # 2. 用OpenGAN判别器打分
    confidence = best_discriminator(features)
    
    # 3. 做决策
    if confidence > threshold:
        # 进行正常的K类分类
        class_prediction = pretrained_classifier(test_image)
        return class_prediction
    else:
        return "UNKNOWN_OBJECT"  # 未知物体

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值