IS指标复现 文本生成图像IS分数定量实验全流程复现 Inception Score定量评价实验踩坑避坑流程

已于 2022-08-07 09:20:57 修改
阅读量3.8k 收藏 39
点赞数 12
分类专栏： 文本生成图像 text-to-image 文章标签： 深度学习 python 文本生成图像 GAN Inception
于 2022-05-12 11:34:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/air__Heaven/article/details/124723672
版权

目录

一、IS分数简介

文本生成图像的评估也是一个很有挑战性的工作，IS分数是测量图像质量的一个通用指标。
IS用到了KL散度和熵的数学知识，其主要原理在于计算p(y|x)和p（y）之间的散度，IS分数越大越好。

二、IS分数 CUB定量实验步骤

以DF-GAN为例子：

第一步：B_VALIDATION改为True

根据DF-GAN的官方文档，首先将bird.yml中的B_VALIDATION改为True：
在这里插入图片描述

第二步：配置训练好的生成器

配置训练好的model，并将其放到code/bird中，重命名为netG.pth，DF-GAN官方也给出了训练好的模型：官方链接 ，打不开官方链接的可以点击CSDN链接，下载后放入指定文件夹即可。
在这里插入图片描述

第三步：采样生成图像

运行：python main.py --cfg cfg/bird.yml

可能出现的问题1：RuntimeError: Attempting to deserialize object on CUDA device
1 but torch.cuda.device_count() is 1
问题原因：模型在训练时使用了多块GPU，但是本机只有1块GPU
解决方案：指定用“cuda:0”，找到两个torch.load(）
第一处在main.py的第57行：netG.load_state_dict(torch.load('models/%s/netG.pth' % (cfg.CONFIG_NAME))将其更改为：netG.load_state_dict(torch.load('models/%s/netG.pth' % (cfg.CONFIG_NAME), map_location='cuda:0'))
第二处在第254行将其更改为：state_dict = torch.load(cfg.TEXT.DAMSM_NAME, map_location='cuda:0')

可能出现的问题2：
RuntimeError: Error(s) in loading state_dict for NetG:
size mismatch for fc.weight: copying a param with shape torch.Size([4096, 100]) from checkpoint, the shape in current model is torch.Size([1024, 100]).
size mismatch for fc.bias: copying a param with shape torch.Size([4096]) from checkpoint, the shape in current model is torch.Size([1024]).
size mismatch for block0.c1.weight: copying a param with shape torch.Size([256, 256, 3, 3]) from checkpoint, the shape in current model is torch.Size([64, 64, 3, 3])
问题原因：在加载模型时，参数对应不上，尺寸mismatch
解决方案：查看训练出的模型model.py与此时做定量的model.py是否一样，查看yml文件的尺寸大小是否设置一样，特别是NF参数的设置。如果是使用的DF-GAN官方训练好的模型，要将NF设置为32，其他也要保持一致：

成功运行后，会进行自动采样生成若干图片，即成功
在这里插入图片描述

第四步：下载IS代码并配置

官方提供的IS分数（StackGAN用过的）代码：github链接，将其放入文件夹中位置如下：
在这里插入图片描述

第五步：下载预训练好的inception mode并配置

下载预训练好的inception model：官方链接、打不开可以点击：CSDN链接，将其放入文件夹指定位置，位置如下：

在这里插入图片描述

第六步：配置inception_score.py，更改读取的路径

打开inception_score.py的代码，定位到41行到49行：
在这里插入图片描述
可以看到这里有两个文件地址，第一个地址是指明在哪里读取预训练好的inception model checkpoints，将其改为自己放的路径：
在这里插入图片描述

tf.app.flags.DEFINE_string('checkpoint_dir',
                           '../birds_valid299/model.ckpt',
                           """Path where to read model checkpoints.""")

第二个路径是指从哪里读取采样的图片，同样将其改为自己放的路径：
在这里插入图片描述

tf.app.flags.DEFINE_string('image_folder',
                           '../test/valid/single',
                           """Path where to load the images """)

第七步：开始定量评测

在终端输入：python inception_score.py --image_folder ../test/valid/single
显示如下：
在这里插入图片描述
就是大功告成啦，可以看到本次结果为 4.61，误差为±0.13！

最后

💖 个人简介：人工智能领域研究生，目前主攻文本生成图像（text to image）方向

📝 个人主页：中杯可乐多加冰

🔥 限时免费订阅：文本生成图像T2I专栏

🎉 支持我：点赞👍+收藏⭐️+留言📝

如果这篇文章帮助到你很多，希望能不吝打赏我一杯可乐！多加冰哦

中杯可乐多加冰
关注
  • 12
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 27
    评论
专栏目录
【GAN优化】最早被用于评价GAN模型的定量指标Inception Score是什么
01-06
最近一部分的内容将会比较容易，将和大家一起讨论GAN的评价指标，也没有太难以理解的东西，希望大家踊跃讨论，欢迎留言。 作者&编辑 | 小米粥 编辑 | 言有三 在判别模型中，训练完成的模型要在测试集上进行测试，然后使用一个可以量化的指标来表明模型训练的好坏，例如最简单的，使用分类准确率评价分类模型的性能，使用均方误差评价回归模型的性能。同样在生成模型上也需要一个评价指标来量化GAN的生成效果。 1.质量与多样性 以生成图像的GAN为例，评价指标首先要评价GAN生成图像的质量好坏，但是图像质量是一个非常主观的概念，不够清晰的宠物狗的图片和线条足够明晰但“很奇怪”的图片均应算作低质量的图片，但计
IS & FID
chenyuhuaxin的博客
05-22 2722
目录 1. Inception Score（IS） 1.1 基本思想 1.2 Inception Score公式 1.3 Inception Score的问题 2.Fréchet Distance（FID） 2.1 FID优点 2.2 FID缺点 用于统计评估生成样本质量的两个最常用且公认的度量标准：Inception（IS）和Fréchet Distance（FID）。 这两个指标的优点在于，它们已被广泛证实与至少某些期望性质（如图像的视觉吸引力或真实感受）高度相关。IS完全是基于.
探索深度学习之美：Inception Score PyTorch 实现
最新发布
gitblog_00020的博客
04-15 748
探索深度学习之美：Inception Score PyTorch 实现 项目地址:https://gitcode.com/sbarratt/inception-score-pytorch 在这个数字化的时代，深度学习已经成为人工智能领域的重要支柱，尤其是在图像识别和生成任务中。今天我们要介绍的是一款基于PyTorch实现的Inception Score工具，它可以帮助我们评估生成模型的性能，特别...
SI and FID
caiexu的博客
02-07 862
from:https://zhuanlan.zhihu.com/p/54213305 source code:https://github.com/mseitzer/pytorch-fid https://zhuanlan.zhihu.com/p/54146307 Inception Score 的问题 首先回顾一下 Inception Score 的两个假设： 越真实的图片，输入预训...
python实现Inception Score代码（读取自己生成的图片）
qq_39909808的博客
07-31 2325
利用python代码计算自己模型生成图片的Inception Score
inception-score-pytorch:pytorch中GAN的初始得分
05-11
初始分数火炬 Pytorch缺少用于计算GAN初始得分的代码。 该存储库填补了这一空白。 但是，我们不建议使用初始分数来评估生成模型，有关原因，请参见。 入门 克隆存储库并导航到它： $ git clone [email protected]:sbarratt/inception-score-pytorch.git $ cd inception-score-pytorch 要生成随机的64x64图像并计算初始分数，请执行以下操作： $ python inception_score.py 唯一的功能是inception_score 。 它获取一张归一化为[0,1]范围的numpy图像列表和一组参数，然后计算初始分数。 请确保您的图像是3x299x299，如果不是（例如，您的GAN在CIFAR上接受过培训），请在将图像传递到初始网络之前，将resize=True传递给该函数，使其使用双线性插
FID预训练好的模型 针对COCO的FID预训练模型 文本生成图像定量指标模型
12-05
这是FID预训练好的模型，针对coco的文本生成图像定量指标训练好的模型 复现步骤请看：https://blog.csdn.net/air__Heaven/article/details/124751665 CUB-Bird的FID预训练好的模型，请看：https://download.csdn.net/download/air__Heaven/85362542
GAN的评价图像评价指标（IS和FID）
qq_42524215的博客
07-22 5436
在学习GAN的结构，首先是要用模型生成数据，然后必须要用一些指标来评价自己生成的数据的质量和多样性，自己在做一维数据的生成，发现IS和FID是用来评价图像的，但是也记录一下俩个指标的具体理解 IS（Inception Score） IS指标 开始以为IS是要单独评价一张一张图片效果，经过阅读之后发现，IS是从整理来评价一个生成模型的好坏，具体就是： 生成的图片质量 生成的图片的多样性 质量直观理解就是我们在训练的时候图片的清晰度，分辨率（因为生产模型的直接目的就是生成真实的图片） 如果图像 x.
Text to Image 文本生成图像定量评价指标分析笔记 Metric Value总结 IS、FID、R-prec等
白洞，白色的明天在等着我们
04-10 9697
文本生成图像的评估是一个很有挑战性的工作，一个良好的t2i模型评价指标不仅要评估生成的图像是否真实，而且要评估文本描述与生成图像之间的语义相关性。
Inception Score（IS）代码和解析
简单记录生活、学习
11-12 2340
Inception Score（IS）代码和解析
GAN-评价指标IS以及FID、KID
热门推荐
itomorrower08的博客
05-15 1万+
GAN网络评价指标主要有两种，IS以及FID IS(Inception Score) 顾名思义:基于Inception网络的score计算方法。 Inception网络是图片分类器，基于ImageNet数据库进行训练，该数据库共有1.2M个RGB图片，分为1000类。Inception网络作为经典网络，在很多框架中都有集成，直接拿来用即可。 参考：https://zhuanlan.zhihu.com/p/54146307 评价生成模型，主要两方面性能：1、生成图片是否清晰2、生成的图片是否多样。是否清晰说明
inception-score_is评价指标_gan生成图片_inceptionscore_Score!_
10-04
衡量GAN网络的一个指标：生成图片的质量（清晰度）和多样性。
文本生成图像 IS分数预训练模型 inception model预训练CUB-Bird模型
05-12
预训练好的inception model 是StackGAN 用来于鸟评估的inception score模型 也可以用于AttnGAN、DF-GAN等等文本生成图像模型当中 主要用于评估图像质量
已经训练好的DF-GAN 600轮epoch生成器CUB-birds模型 文本生成图像模型
05-12
这个是已经训练好的DFGAN，针对CUB的生成器模型，训练轮数601轮 默认bird.yml： CONFIG_NAME: 'bird' DATASET_NAME: 'bird' DATA_DIR: '../data/bird' GPU_ID: 0 WORKERS: 1 B_VALIDATION: True # True # False ...
【GAN】用于生成图像的评价指标——IS和FID
NooahH的博客
01-30 9411
在使用GAN进行图像生成任务中，我们的目的就是为了得到高质量的生成图像，那么总得需要个度量指标来衡量生成的图像是否是“高质量”的吧？不能完全靠人眼主观判断。这里提到生成图像的“高质量”，主要从两方面考虑： 图像本身的质量。如：是否清晰，内容是否完整，是否逼真等等。 多样性。最终的生成器所生成的图像需要多种多样的，不能只生成一种或几种类型的图像，产生的这种现象称为模式崩溃（Mode collaps...
inceptionV4及其tf代码
Touch_Dream的博客
02-10 4229
1. inception v4图1.1 inception v4 网络结构图 图1.2 图1.1的stem和Inception-A部分结构图 图1.3 图1.1的Reduction-A和Inception-B部分结构图 图1.4 图1.1的Reduction-B和Inception-C部分结构图import os import numpy as np import tensorflow as t...
文本生成图像Text-To-Image评估指标IS、FID、VSS、R-precision
MISS_XDY的博客
03-03 5265
IS分数（Inception Score）：衡量图像质量和多样性 FID距离（弗雷彻特初始距离）：衡量图像质量和多样性 VSS（Visual­Semantic Similarity）视觉语义相似度：衡量图像与输入文本的语义匹配度 补充信息熵的计算： IS分数，越高越好。 对于图像质量。借助了一个外部图像分类器。p(y|x)的熵越小，说明数据分布较为集中（熵越大，代表分布越混乱）。y表示类别标签，x表示生成的图像。如果图像可以以很高的置信度被判别为某一类别，说明具有很好的清晰度和辨识度；如果难.
redis_2_key_五大数据类型常用命令
一只仰望天空的菜鸟
01-04 5102
一、key 1、查看当前库的key个数：dbsize—需要注意的是这个返回来的个数包含过期key。 2、查看当前库的所有key ：keys * 3、模糊查询1 ：keys XX?—表示XX后面只要带一个的都会被匹配，无论这一个是什么，但是必须只能是一个。 4、模糊查询2 ：keys XX*—表示匹配XX后面所有的，无论有多少个还是没有。 5、判断当前库是否含有这个k
python 计算生成图像数据集的inception score 代码
05-24
下面是使用 PyTorch 计算 Inception Score 的示例代码： ```python import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import models, transforms, datasets import numpy as np from scipy.stats import entropy def inception_score(imgs, batch_size=32, resize=False): """ Computes the Inception Score of the generated images imgs """ assert (type(imgs) == np.ndarray) assert (imgs.shape[1] == 3) assert (np.min(imgs[0]) >= 0 and np.max(imgs[0]) > 10), 'Image values should be in the range [0, 255]' N = len(imgs) # Set up the Inception model inception_model = models.inception_v3(pretrained=True) inception_model.eval() if resize: # Resize the images to 299x299 transform = transforms.Compose([ transforms.ToPILImage(), transforms.Resize((299, 299)), transforms.ToTensor(), transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5]) ]) else: # Crop the images to 299x299 transform = transforms.Compose([ transforms.ToPILImage(), transforms.RandomCrop((299, 299)), transforms.ToTensor(), transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5]) ]) dataset = ImageDataset(imgs, transform) dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=False) # Compute the activations of the Inception model for all batches of images activations = [] for batch in dataloader: pred = inception_model(batch)[0] activations.append(pred.detach().cpu().numpy()) activations = np.concatenate(activations, axis=0) # Compute the mean and covariance of the activations mu = np.mean(activations, axis=0) sigma = np.cov(activations, rowvar=False) # Compute the Inception Score scores = [] for i in range(N // batch_size): batch = torch.from_numpy(imgs[i * batch_size:(i + 1) * batch_size]).float().cuda() pred = inception_model(batch)[0].detach().cpu().numpy() p_yx = np.exp(-0.5 * np.sum((pred - mu) ** 2 * np.linalg.inv(sigma), axis=1)) / np.sqrt( np.linalg.det(sigma) * (2 * np.pi) ** pred.shape[1]) scores.append(p_yx) scores = np.concatenate(scores, axis=0) scores = np.mean(scores.reshape((-1, 1)), axis=0) scores = np.exp(entropy(scores)) return scores class ImageDataset(torch.utils.data.Dataset): def __init__(self, imgs, transform=None): self.imgs = imgs self.transform = transform def __getitem__(self, index): img = self.imgs[index] if self.transform is not None: img = self.transform(img) return img def __len__(self): return len(self.imgs) ``` 这里需要注意的一点是，这个代码中用到了 PyTorch 的 `models.inception_v3` 模型，需要安装 torchvision 库才能使用。另外，在计算 Inception Score 时，建议对生成的图片进行大小调整或裁剪，以便与 Inception v3 的输入要求相匹配。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 27
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

中杯可乐多加冰

请我喝杯可乐吧，我会多加冰！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值