简介
简介:这次学习的OpenGAN主要学习一个思路,跳出传统GAN对于判断真假的识别到判断是已知种类还是未知种类。重点内容不在于代码而是思路,会简要给出一个设计的代码。
论文题目:OpenGAN: Open-Set Recognition via Open Data Generation(基于开放数据生成的开放集识别)
期刊:IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE(if=20.8,超级Top)
摘要:现实世界的机器学习系统需要分析可能与训练数据不同的测试数据。 在K-way分类中,这被清晰地表述为开集识别,其核心是区分K个闭集类之外的开集数据的能力。 开集判别的两个概念是:1)通过利用一些离群数据作为开集判别学习开-闭二元判别器; 2)利用GAN的判别器作为开集似然函数,对闭集数据分布进行无监督学习。 然而,由于对训练异常值的过度拟合,前者对各种开放测试数据的泛化效果较差,而训练异常值不太可能详尽地跨越开放世界。 后者不能很好地工作,可能是由于gan的训练不稳定。 在上述的激励下,我们提出了OpenGAN,它通过将每种方法与几个技术见解相结合来解决每种方法的局限性。 首先,我们证明了在一些真实的离群数据上精心选择的gan鉴别器已经达到了最先进的水平。 其次,我们用对抗合成的“假”数据增强真实开放训练样本的可用集。 第三,也是最重要的,我们在封闭世界K-way网络计算的特征上建立了鉴别器。 这使得OpenGAN可以通过建立在现有K-way网络之上的轻量级鉴别器头来实现。 大量的实验表明,OpenGAN显著优于先前的开集方法。
问题背景的具体例子
想象你要训练一个自动驾驶汽车的视觉系统:
- 训练数据:汽车、行人、红绿灯、建筑物等19个类别
- 现实问题:路上突然出现婴儿车、街头小摊等训练时没见过的物体
- 危险后果:系统可能把婴儿车错误识别为"摩托车",导致不当的避让策略
OpenGAN的具体操作流程
第一步:准备基础设施
1. 已有一个训练好的K类分类器(比如识别19种交通场景物体)
2. 从这个分类器的倒数第二层提取特征(不是直接用原始图片)
3. 收集少量"其他"类别的数据作为已知的异常样本
为什么用特征而不用像素?
- 原始图片:1024×2048×3 = 600万维度,太复杂
- 提取的特征:可能只有512维,包含了高级语义信息
- 就像人类识别物体时关注的是形状、纹理,而不是每个像素点
第二步:构建OpenGAN架构
OpenGAN包含两个核心组件:
判别器D(Discriminator):
- 输入:特征向量
- 输出:该特征属于"已知类别"的概率
- 作用:区分"已知"vs"未知"
生成器G(Generator):
- 输入:随机噪声
- 输出:假的"未知类别"特征
- 作用:生成更多样的"未知"样本来训练判别器
第三步:对抗训练过程
这是核心!OpenGAN使用三种数据同时训练:
# 伪代码展示训练过程
for epoch in training:
# 1. 真实的已知类别数据
real_closed_features = extract_features(known_class_images)
# 2. 真实的未知类别数据(少量)
real_open_features = extract_features(outlier_images)
# 3. 生成器创造的假未知数据
noise = random_noise()
fake_open_features = Generator(noise)
# 训练判别器:让它学会区分已知和未知
d_loss = - log(D(real_closed_features)) # 已知类别应该得高分
- λ_o * log(1-D(real_open_features)) # 真实未知应该得低分
- λ_G * log(1-D(fake_open_features)) # 生成未知应该得低分
# 训练生成器:让它生成能骗过判别器的"未知"特征
g_loss = - log(1-D(Generator(noise))) # 生成的特征要能骗过判别器
关键参数解释:
λ_o
:控制真实异常数据的重要性λ_G
:控制生成假数据的重要性- 当
λ_o=0
时,就是OpenGAN-0(不使用真实异常数据)
第四步:模型选择的巧妙方法
传统GAN的问题:
- 训练到最后,生成器太强了,判别器分不出真假
- 判别器失去了区分"已知"和"未知"的能力
OpenGAN的解决方案:
- 在训练过程中保存多个判别器快照
- 用少量真实的异常数据作为验证集
- 选择在验证集上表现最好的判别器
# 模型选择过程
best_auroc = 0
best_discriminator = None
for checkpoint in training_checkpoints:
discriminator = load_checkpoint(checkpoint)
auroc = evaluate_on_validation_set(discriminator, validation_outliers)
if auroc > best_auroc:
best_auroc = auroc
best_discriminator = discriminator
# 使用最佳判别器进行最终预测
第五步:实际应用
在测试时:
def predict_open_set(test_image):
# 1. 提取特征
features = pretrained_classifier.extract_features(test_image)
# 2. 用OpenGAN判别器打分
confidence = best_discriminator(features)
# 3. 做决策
if confidence > threshold:
# 进行正常的K类分类
class_prediction = pretrained_classifier(test_image)
return class_prediction
else:
return "UNKNOWN_OBJECT" # 未知物体