pytorch 反卷积 可视化_小白学PyTorch | 14 tensorboardX可视化教程

<>

小白学PyTorch | 13 EfficientNet详解及PyTorch实现

小白学PyTorch | 12 SENet详解及PyTorch实现

小白学PyTorch | 11 MobileNet详解及PyTorch实现

小白学PyTorch | 10 pytorch常见运算详解

小白学PyTorch | 9 tensor数据结构与存储结构

小白学PyTorch | 8 实战之MNIST小试牛刀

小白学PyTorch | 7 最新版本torchvision.transforms常用API翻译与讲解

小白学PyTorch | 6 模型的构建访问遍历存储(附代码)

小白学PyTorch | 5 torchvision预训练模型与数据集全览

小白学PyTorch | 4 构建模型三要素与权重初始化

小白学PyTorch | 3 浅谈Dataset和Dataloader

小白学PyTorch | 2 浅谈训练集验证集和测试集

小白学PyTorch | 1 搭建一个超简单的网络

小白学PyTorch | 动态图与静态图的浅显理解

这个系列《小白学PyTorch》的所有代码和数据集放在了公众号【机器学习炼丹术】后台,回复【pytorch】获取(还在更新的呢):

0f5ac55d34c4d3d9eee4699ca3b5fc6d.png

当然有什么问题、有事没事都可以找炼丹兄交流哈哈。最近除了大家交朋友水群唠嗑的炼丹总群,还建立了专门交流学术拒绝水群的医学图像的炼丹分群,将来还会建立目标检测、金融量化、自然语言处理等多个技术分群。

4fe4c5679e01a68636062594d0c8526d.png

↑↑↑扫码加炼丹兄好友↑↑↑

参考目录:

  • 1 安装

  • 2 标量可视化

  • 3 权重直方图

  • 4 特征图可视化

  • 5 模型图的可视化

  • 6 卷积核的可视化

本章节来初次使用tensorboard来可视化pytorch深度学习中的一些内容,主要可视化的内容包括:标量变化(模型损失、准确率等);权重值的直方图;特征图的可视化;模型图的可视化;卷积核的可视化。

其实tensorboard一开始是给tensorflow使用的可视化工具,PyTorch框架自己的可视化工具是Visdom,但是这个API需要设置的参数过于复杂,而且功能不太方便也不强大,所以有人写了一个库函数TensorboardX来让PyTorch也可以使用tensorboard。

1 安装

安装非常的简单,直接需要安装tensorboardX,tensorboardtensorflow三个库函数:

# 控制台运行
pip install tensorboardX
pip install tensorboard
pip install tensorflow

这时候我们就已经安装完成了。

2 标量可视化

这里我是用的是第8课的MNIST作为基本代码,然后在其中增加可视化的功能。

先导入库函数

# 导入可视化模块
from tensorboardX import SummaryWriter
writer = SummaryWriter('../result_tensorboard')

这里面的writer就是我们要记录的一个写入tensorboard的一个接口。这个../result_tensorboard就是数据保存的具体位置。

    for batch_idx, (data, target) in enumerate(train_loader):
        #...省略一些代码...
        if (batch_idx + 1) % 50 == 0:
            print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
                epoch, (batch_idx + 1) * len(data), len(train_loader.dataset),
                       100. * (batch_idx + 1) / len(train_loader), loss.item()))
            writer.add_scalar('loss',loss.item(),tensorboard_ind)
            tensorboard_ind += 1

关键就是writer.add_scalar(),其中有三个关键的参数:

def add_scalar(self, tag, scalar_value, global_step):

  • tag就是一个字符串吧,在上面的代码中,我是每50个batch记录一次loss的值,所以这个tag就是'loss':
  • scalar_value就是这一次记录的标量了,上面记录的就是loss.item()。这个loss的变化应该会输出一个折线图的吧,这个scalar_value就是y轴的值;
  • global_step其实就是折线图的x轴的值,所以我每记录一个点就把tensorboard_ind加一。

运行上面的代码,会生成这样的一个文件:7faa12106b096dc7bc300ac1ef8c6a7a.png这个events.out.巴拉巴拉这个文件就是代码中保存的标量,我们需要在控制台启动tensorboard来可视化:

tensorboard --logdir==D:\Kaggle\result_tensorboard

这个--logdir=后面跟上之前writer定义的时候的那个地址,也就是../result_tensorboard,然后运行。

运行结果为:24987ff57b8d1ea13ece67d65ccb710b.png点击上图中的蓝色字体,会弹出一个网页,这个网页就是tensorboald的可视化面板。

9995b10f0f9f3b6d54eae1c2755626aa.png

从图中可以看到一个标量的折线图,就是我们的loss。

3 权重直方图

增加部分代码,目的是在每一个epoch训练完成之后,记录一次模型每一层的参数直方图。

n_epochs = 5
for epoch in range(n_epochs):
    train(epoch,epoch * len(train_loader))
    # 每一个epoch之后输出网络中每一层的权重值的直方图
    for i, (name, param) in enumerate(model.named_parameters()):
        if 'bn' not in name:
            writer.add_histogram(name, param, epoch)

运行结束之后依然是一个名字很长的数据文件,我们在tensorboard中运行这个文件,展示出直方图变化,上面的代码是记录了一个网络中所有层的权重值直方图,在具体任务中,可以只需要输出某一些层的权重直方图即可。416a654cf45d46a8831abe5a3c5815b5.png

4 特征图可视化

在代码中的train函数内,增加了这样一段代码:

# 第一个batch记录数据
if batch_idx == 0:
    out1 = model.features1(data[0:1,:,:,:])
    out2 = model.features(out1)
    grid1 = make_grid(out1.view(-1,1,out1.shape[2],out1.shape[3]), nrow=8)
    grid2 = make_grid(out2.view(-1,1,out1.shape[2],out1.shape[3]), nrow=8)
    writer.add_image('features1', grid1, global_step=epoch)
    writer.add_image('features', grid2, global_step=epoch)

就是让第一个batch的第一个样本放到模型中,然后把卷积输出的特征图输出成out1和out2,然后使用torchvision.utils.make_grid函数把特征图变成网格的形式。然后写道writer里面,标签是'features1'和'features'。

运行tensorboard结果:e50e0bc303bf8ea9180c77fbf8beb349.png

在features1中可以比较明显的看到32个‘6’的图片,这个是一个样本的特征图的32个通道的展示,上面的那个feature在检查代码之后,虽然看起来是4个图片,但是其实是64个通道,只是每个特征图都很小所以看起来比较模糊和迷惑。这也是因为MNIST数据集中是28尺寸的输入图片,对于Imagenet的大图片一般都蚕蛹224或者448像素的输入,就会好一些。

总之这是特征图的展示。我专门录了一个这个tensorboard的GIF展示。92d64b34d36d18cb7adf79dd454be516.gif

5 模型图的可视化

这个非常的简单:

model = Net().to(device)
writer.add_graph(model, torch.rand([1,3,28,28]))

这里呢有一个问题,就是自己定义的模型结构会显示不出来。目前在网上搜索过但是没有比较好的解决方案,所以这里就不作模型的可视化了。对于部分官方提供的模型是可以可视化的,下面展示的是官方可视化的效果:085daa3541269a81e2f67b437c0f7fa0.png

其实个人感觉,这个模型结构可视化的结果也不是非常的好看。而且对于模型可视化的结果还有其他的办法,所以不用tensorboard也罢。tensorboard来可视化loss,特征图等的功能也足够了。

6 卷积核的可视化

# 卷积核的可视化
for idx, (name, m) in enumerate(model.named_modules()):
    if name == 'features1':
        print(m.weight.shape)
        in_channels = m.weight.shape[1]
        out_channels = m.weight.shape[0]
        k_w,k_h = m.weight.shape[3],m.weight.shape[2]
        kernel_all = m.weight.view(-1, 1, k_w, k_h)  # 每个通道的卷积核
        kernel_grid = make_grid(kernel_all,  nrow=in_channels)
        writer.add_image(f'{name}_kernel', kernel_grid, global_step=epoch)

这个个也比较好理解,之前的关于卷积的基础知识,模型的遍历都讲过了,所以这里相信大家都没有什么比较难理解的地方了。

运行结果:b80d20bbdaf37b301144580bb0a4f6cd.png

这里就非常的好奇,怎么设置才可以让这个图像不那么的糊

今天的讲解到此为止。代码已经在后台更新。

- END - <>

小白学论文 | EfficientNet强在哪里

小白学论文 | 神经网络初始化Xavier

小白学论文 | 端侧神经网络GhostNet(2019)

小白学目标检测 | RCNN, SPPNet, Fast, Faster

小白学图像 | BatchNormalization详解与比较

小白学图像 | Group Normalization详解+PyTorch代码

小白学图像 | 八篇经典CNN论文串讲

图像增强 | CLAHE 限制对比度自适应直方图均衡化

小白学卷积 | 深入浅出卷积网络的平移不变性

小白学卷积 | (反)卷积输出尺寸计算

损失函数 | 焦点损失函数 FocalLoss 与 GHM

<>

小白学ML | 随机森林 全解 (全网最全)

小白学SVM | SVM优化推导 + 拉格朗日 + hingeLoss

小白学LGB | LightGBM = GOSS + histogram + EFB

小白学LGB | LightGBM的调参与并行

小白学XGB | XGBoost推导与牛顿法

评价指标 | 详解F1-score与多分类F1

小白学ML | Adaboost及手推算法案例

小白学ML | GBDT梯度提升树

小白学优化 | 最小二乘法与岭回归&Lasso回归

小白学排序 | 十大经典排序算法(动图)

杂谈 | 正态分布为什么如此常见

Adam优化器为什么被人吐槽?

机器学习不得不知道的提升技巧:SWA与pseudo-label

<>

秋招总结 | 一个非Top学校的跨专业的算法应届研究生的几十场面试

【小白面经】快手 AI算法岗 附答案解析

【小白面经】 拼多多 AI算法岗 附带解析

【小白面经】八种应对样本不均衡的策略

【小白面经】之防止过拟合的所有方法

【小白面经】梯度消失爆炸及其解决方法

【小白面经】 判别模型&生成模型

<>

【小白健身】腹肌搓衣板化

【小白健身 】背阔大作战(下)

【小白健身】背阔大作战(上)

【小白健身】徒手健身40个动作(gif)

【小白健身】弹力带轻度健身gif动图

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页