【代码实现】Searching for Efficient Multi-Scale Architectures for Dense Image Prediction

最新推荐文章于 2022-07-11 11:19:09 发布
最新推荐文章于 2022-07-11 11:19:09 发布
阅读量2.1k 收藏 5
点赞数
分类专栏： 语义分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mooneve/article/details/83412628
版权

目录

相关资料

代码地址：https://github.com/tensorflow/models/tree/master/research/deeplab
论文地址：https://arxiv.org/abs/1809.04184
个人笔记：https://blog.csdn.net/mooneve/article/details/83144385
官方教程：
https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/installation.md
https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/cityscapes.md

参考资料

https://blog.csdn.net/cs_hnu_scw/article/details/79695347
https://blog.csdn.net/u011974639/article/details/80574306
https://blog.csdn.net/u011974639/article/details/80948990

环境要求

Ubuntu16.04
CUDA 9.0（若使用8.0，则tensorflow版本最高为1.4）
Python 3.6:

  • Numpy
  • Pillow 1.0
  • tf Slim (which is included in the “tensorflow/models/research/” checkout)
  • Jupyter notebook
  • Matplotlib
  • Tensorflow

安装Anaconda和tensorflow

下载地址：https://repo.anaconda.com/archive/
选择64位linux版 python下载，安装即可。可参考 https://blog.csdn.net/cs_hnu_scw/article/details/79695347
（在这里我创建的python虚拟环境名为deeplab）
在这里插入图片描述

配置代码环境

任意目录下打开Terminal，输入以下命令，将代码克隆到本地，获得models文件夹。

git clone https://github.com/tensorflow/models.git

在这里插入图片描述
在命令行中，输入：

source activate deeplab

切换到tensorflow python虚拟环境中，输入：

sudo gedit ~/.bashrc

打开编辑~/.bashrc，在文件末尾将models/research/slim添加到PYTHONPATH中，避免以后每次打开Terminal都要手动输入，添加内容为：

export PYTHONPATH=/home/lab/ygy/models/research/slim:$PYTHONPATH

/home/lab/ygy为存放models文件夹的目录。
在这里插入图片描述
完成后，命令行进入/models/research目录，在目录下输入：

python deeplab/model_test.py

运行model_test.py测试，结果报错:
在这里插入图片描述
原因：当前版本中model_test.py存在一处错误，代码第140行，scales_to_model_results.keys()的类型为dict_keys，需要将其转为list类型，故修改如下：

self.assertListEqual(list(scales_to_model_results.keys()),
                               expected_endpoints)

修改完成后即可运行通过。
在这里插入图片描述

Cityscapes数据集

下载

去 https://www.cityscapes-dataset.com/ 上下载数据集。由于直接分享违法，故需要注册账号(最好用带edu的邮箱注册)。
下载数据集leftImg8bit_trainvaltest.zip (11GB)和对应的标注集gtFine_trainvaltest.zip (241MB)。
将两个压缩包解压至：/ygy/models/research/deeplab/datasets/cityscapes。
解压完毕后，在cityscapes目录下运行命令：

git clone https://github.com/mcordts/cityscapesScripts.git

将操作Cityscapes数据集标签的代码克隆到本地。接着在cityscapes下创建tfrecord, exp等目录。train_on_train_set 目录存储 train/eval/vis 的过程和结果。（后面为了分别测试trainfine和trainval模型，文件名做了相应修改）
此时cityscapes下的目录结构为：

+ /ygy/models/research/deeplab/datasets/cityscapes
  + cityscapesscripts
  + leftImg8bit
  + gtFine
  + tfrecord
  + exp
    + train_on_train_set
      + train_fine
      + train_val
      + eval_fine
      + eval_val
      + vis_fine
      + vis_val

修改代码生成Cityscapes的TFRecord

进入/ygy/models/research/deeplab/datasets/cityscapes/cityscapesscripts/preparation文件夹
修改createTrainIdLabelImgs.py代码第42行，将其指定为cityscapes数据集的位置：

cityscapesPath = '/home/lab/ygy/models/research/deeplab/datasets/cityscapes'

然后即可在/models/research/deeplab/datasets目录下运行convert_cityscapes.sh，生成TFRecord。如下图：

sh convert_cityscapes.sh

在这里插入图片描述
生成的TFRecord保存在cityscapes/tfrecord文件夹中
在这里插入图片描述

在CityScapes下训练

下载预训练模型

去 model_zoo上下载github上官方给出的预训练模型 ，目前在CityScapes下有两种模型可供选择：xception71_dpc_cityscapes_trainfine（445 M）和xception71_dpc_cityscapes_trainval（446 M）。将两个模型下载后，解压放到deeplab/backbone目录下（该目录自己手动创建）。
在这里插入图片描述

1.模型训练

官方给出的训练样例为：

# From tensorflow/models/research/
python deeplab/train.py \
    --logtostderr \
    --training_number_of_steps=90000 \ 训练迭代次数，初次实验时刻设置为500，1000等，验证是否正确
    --train_split="train" \
    --model_variant="xception_65" \ 选择使用的模型，这里我们需要改为xception_71
    --atrous_rates=6 \  见下方注意1
    --atrous_rates=12 \
    --atrous_rates=18 \
    --output_stride=16 \
    --decoder_output_stride=4 \ 见下方注意2
    --train_crop_size=769 \ 训练图片的裁剪大小，代码中默认为513，最小不低于312
    --train_crop_size=769 \
    --train_batch_size=1 \如要复现论文中的效果则至少为8（注意显卡显存是否足够），同时设置fine_tune_batch_norm = True
    --dataset="cityscapes" \ 使用的数据集名称
    --dense_prediction_cell_json="deeplab/core/dense_prediction_cell_branch5_top1_cityscapes.json" 运行DCP时需要添加此项
    --tf_initial_checkpoint=${PATH_TO_INITIAL_CHECKPOINT} \  预训练模型路径
    --train_logdir=${PATH_TO_TRAIN_DIR} \ 训练日志存放目录
    --dataset_dir=${PATH_TO_DATASET}  TFRecord目录

注意1：
xception71_dpc_cityscapes_trainfine的output_stride为16
xception71_dpc_cityscapes_trainval 的output_stride为8，所以使用后者作为预训练模型时，则atrous_rates 需要从 [6, 12, 18] 变为 [12, 24, 36]。
注意2：
如果不想使用decoder结构，可以去掉命令中的decoder_output_stride。
注意3：
当batch_size 小于12时，应将fine_tune_batch_norm设为false，故在训练时还需要带上这个变量。

xception71_dpc_cityscapes_trainfine调用命令

我的机器显卡为1080ti ，batch_size只能设为1 ┓( ´∀` )┏，或者你可以选择把图片裁剪到更小，比如设为默认的513

python deeplab/train.py \
    --logtostderr \
    --training_number_of_steps=1000 \
    --train_split="train" \
    --model_variant="xception_71" \
    --atrous_rates=6 \
    --atrous_rates=12 \
    --atrous_rates=18 \
    --output_stride=16 \
    --decoder_output_stride=4 \
    --train_crop_size=769 \
    --train_crop_size=769 \
    --train_batch_size=1 \
    --fine_tune_batch_norm=False \ 
    --dataset="cityscapes" \
    --dense_prediction_cell_json="deeplab/core/dense_prediction_cell_branch5_top1_cityscapes.json" \ 
    --tf_initial_checkpoint="deeplab/backbone/train_fine/model.ckpt"\ 
    --train_logdir="deeplab/datasets/cityscapes/exp/train_on_train_set/train_fine" \
    --dataset_dir="deeplab/datasets/cityscapes/tfrecord"

训练过程如下图：
在这里插入图片描述

xception71_dpc_cityscapes_trainval调用命令

这个模型batch_size直接设为1，1080Ti显存不足，所以我把图片也裁剪到513后运行通过。

python deeplab/train.py \
    --logtostderr \
    --training_number_of_steps=1000 \
    --train_split="train" \
    --model_variant="xception_71" \
    --atrous_rates=12 \
    --atrous_rates=24 \
    --atrous_rates=36 \
    --output_stride=8 \
    --decoder_output_stride=4 \
    --train_crop_size=513 \
    --train_crop_size=513 \
    --train_batch_size=1 \
    --fine_tune_batch_norm=False \ 
    --dataset="cityscapes" \
    --dense_prediction_cell_json="deeplab/core/dense_prediction_cell_branch5_top1_cityscapes.json" \ 
    --tf_initial_checkpoint="deeplab/backbone/trainval_fine/model.ckpt" \ 
    --train_logdir="deeplab/datasets/cityscapes/exp/train_on_train_set/train_val" \
    --dataset_dir="deeplab/datasets/cityscapes/tfrecord"

2.模型评估

官方给出的评估样例为：

# From tensorflow/models/research/
python deeplab/eval.py \
    --logtostderr \
    --eval_split="val" \
    --model_variant="xception_65" \ 选择使用的模型，这里我们需要改为xception_71
    --atrous_rates=6 \  设置同上，使用tarinval时，需要修改为[12,24,36,8]
    --atrous_rates=12 \
    --atrous_rates=18 \
    --output_stride=16 \
    --decoder_output_stride=4 \
    --eval_crop_size=1025 \  测试图片时，图片裁剪可以大一些
    --eval_crop_size=2049 \
    --dataset="cityscapes" \
    --checkpoint_dir=${PATH_TO_CHECKPOINT} \ 训练模型存放的目录
    --eval_logdir=${PATH_TO_EVAL_DIR} \ 保存验证结果的目录
    --dataset_dir=${PATH_TO_DATASET}  TFRecord目录

一开始我评估和可视化的时候都报错了，提示Key aspp0/BatchNorm/beta not found in checkpoint，后来向作者提问之后才知道 --dense_prediction_cell_json=“deeplab/core/dense_prediction_cell_branch5_top1_cityscapes.json”
也是需要加上的……只能怪自己阅读理解能力不好o(╥﹏╥)o https://github.com/tensorflow/models/issues/5630

xception71_dpc_cityscapes_trainfine调用命令

python deeplab/eval.py \
    --logtostderr \
    --eval_split="val" \
    --model_variant="xception_71" \
    --atrous_rates=6 \
    --atrous_rates=12 \
    --atrous_rates=18 \
    --output_stride=16 \
    --decoder_output_stride=4 \
    --eval_crop_size=1025 \
    --eval_crop_size=2049 \
    --dataset="cityscapes" \
    --dense_prediction_cell_json="deeplab/core/dense_prediction_cell_branch5_top1_cityscapes.json" \
    --checkpoint_dir="deeplab/datasets/cityscapes/exp/train_on_train_set/train_fine" \
    --eval_logdir="deeplab/datasets/cityscapes/exp/train_on_train_set/eval_fine" \
    --dataset_dir="deeplab/datasets/cityscapes/tfrecord"

在这里插入图片描述
注意：eval.py 和vis.py在评估完毕后，并不会主动停止，它们会一直等待新的checkpoint，所以需要我们手动按ctrl+c把程序停止。

xception71_dpc_cityscapes_trainval调用命令

可能由于我训练的时候设置的crop size是513，所以mIOU比官方低一些。

python deeplab/eval.py \
    --logtostderr \
    --eval_split="val" \
    --model_variant="xception_71" \
    --atrous_rates=12 \
    --atrous_rates=24 \
    --atrous_rates=36 \
    --output_stride=8 \
    --decoder_output_stride=4 \
    --eval_crop_size=1025 \
    --eval_crop_size=2049 \
    --dataset="cityscapes" \
    --dense_prediction_cell_json="deeplab/core/dense_prediction_cell_branch5_top1_cityscapes.json" \
    --checkpoint_dir="deeplab/datasets/cityscapes/exp/train_on_train_set/train_val" \
    --eval_logdir="deeplab/datasets/cityscapes/exp/train_on_train_set/eval_val" \
    --dataset_dir="deeplab/datasets/cityscapes/tfrecord"

在这里插入图片描述

3.分割可视化

官方给出的评估样例为：

# From tensorflow/models/research/
python deeplab/vis.py \
    --logtostderr \
    --vis_split="val" \
    --model_variant="xception_65" \ 选择使用的模型，这里我们需要改为xception_71
    --atrous_rates=6 \ 设置同上，使用tarinval时，需要修改为[12,24,36,8]
    --atrous_rates=12 \
    --atrous_rates=18 \
    --output_stride=16 \
    --decoder_output_stride=4 \
    --vis_crop_size=1025 \ 测试图片时，图片裁剪可以大一些
    --vis_crop_size=2049 \
    --dataset="cityscapes" \
    --colormap_type="cityscapes" \
    --checkpoint_dir=${PATH_TO_CHECKPOINT} \ 训练模型存放的目录
    --vis_logdir=${PATH_TO_VIS_DIR} \ 保存分割结果的目录
    --dataset_dir=${PATH_TO_DATASET} TFRecord目录
    --also_save_raw_predictions=True  是否保存原始的预测图

注意：如果想保存分割结果用于evaluation server，可设置also_save_raw_predictions=True

xception71_dpc_cityscapes_trainfine调用命令

python deeplab/vis.py \
    --logtostderr \
    --vis_split="val" \
    --model_variant="xception_71" \
    --atrous_rates=6 \
    --atrous_rates=12 \
    --atrous_rates=18 \
    --output_stride=16 \
    --decoder_output_stride=4 \
    --vis_crop_size=1025 \
    --vis_crop_size=2049 \
    --dataset="cityscapes" \
    --colormap_type="cityscapes" \
    --dense_prediction_cell_json="deeplab/core/dense_prediction_cell_branch5_top1_cityscapes.json" \
    --checkpoint_dir="deeplab/datasets/cityscapes/exp/train_on_train_set/train_fine" \
    --vis_logdir="deeplab/datasets/cityscapes/exp/train_on_train_set/vis_fine" \
    --dataset_dir="deeplab/datasets/cityscapes/tfrecord" \ 
    --also_save_raw_predictions=True

在这里插入图片描述
部分分割结果图：
在这里插入图片描述
在这里插入图片描述

xception71_dpc_cityscapes_trainval调用命令

python deeplab/vis.py \
    --logtostderr \
    --vis_split="val" \
    --model_variant="xception_71" \
    --atrous_rates=12 \
    --atrous_rates=24 \
    --atrous_rates=36 \
    --output_stride=8 \
    --decoder_output_stride=4 \
    --vis_crop_size=1025 \
    --vis_crop_size=2049 \
    --dataset="cityscapes" \
    --colormap_type="cityscapes" \
    --dense_prediction_cell_json="deeplab/core/dense_prediction_cell_branch5_top1_cityscapes.json" \
    --checkpoint_dir="deeplab/datasets/cityscapes/exp/train_on_train_set/train_val" \
    --vis_logdir="deeplab/datasets/cityscapes/exp/train_on_train_set/vis_val" \
    --dataset_dir="deeplab/datasets/cityscapes/tfrecord" \ 
    --also_save_raw_predictions=True

在这里插入图片描述
部分分割结果图：
在这里插入图片描述
在这里插入图片描述

按照官方的说法，trainval的mIOU比trainfine高，而我这里测试效果相反，应该是因为trainval我训练时裁剪得更小导致的。啊啊啊啊，想要显存更大的显卡！w(ﾟДﾟ)w

会意
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
2018 神经网络搜索实现语义分割《Searching for Efficient Multi-Scale Architectu
08-03
在机器学习领域，神经网络架构的设计对于在各种任务中实现最佳性能至关重要。近年来，自动设计和构建架构的方法已经成为研究的热点，尤其是通过巧妙地构建搜索空间和简单的学习算法相结合的方式。这种方法，通常被...
FaPN: Feature-aligned Pyramid Network for Dense Image Prediction
qq_42578970的博客
10-18 1790
本文基本上就是在FPN基础上加了两个模块，一个FSM，用了选择特征，一个FAM，用来对齐特征。 在FPN中，上采样块会结合降采样网络中间层的feature map，但实际上，同意特征在这同一分辨率的两幅图中可能并未对齐。作者便提出了FAM模块，利用可变形卷积，将特征对齐。 虽然文中先讲了FAM，但个人认为应该先将FSM，毕竟FSM的输出是FAM输入的一部分。 相较于FPN用1X1卷积选择通道，FSM通过fm判断每个...
密集预测/Dense Prediction
RealCoder的博客
01-23 3981
Pixelwise dense prediction is the task of predicting a label for each pixel in the image 来自于卷积神经网络在图像语义分割（semantic image segmentation）的应用。图像分割需要判定一张图片中特定区域的所属类别。 这个图像里有什么？它在图像中哪个位置？ 更具体地说，图像语义分割的目标是将图像的每个像素所属类别进行标注。因为是预测图像中的每个像素，这个任务通常被称为密集预测（dense pre.
FaPN: Feature-aligned Pyramid Network for Dense Image Prediction 论文笔记
Tianchao龙虾
09-15 3132
FaPN: Feature-aligned Pyramid Network for Dense Image Prediction FaPN ICCV2021 论文链接: https://arxiv.org/abs/2108.07058 一、 Problem Statement 尤其对于dense prediction任务来说，对于目标定位需要丰富的空间细节和对于分类来说需要较好的语义信息。 如何有效地生成不同尺度的特征层成为处理dense prediction任务时需要克服的关键障碍之一。一般有两个方
【论文阅读笔记】MULTI-SCALE DENSE NETWORKS FOR RESOURCE EFFICIENT IMAGE CLASSIFICATION
寸先生的AI道路
12-07 2092
本文由香奈儿大学的几位教授撰写，获得ICLR2018最佳论文。文章基于CNN，提出一种图像分类方法：在现实中对图像分类难度不一，采用一个固定的框架对图片进行分类时有时不够灵活，比如使用复杂网络对简单图片分类比较浪费资源，而使用简单网络对复杂图片进行分类效果又不够好，为了解决网络灵活度和节省计算资源，文章提出了MSDNet。
Anchor-free目标检测综述 -- Dense Prediction篇
晓飞的算法工程笔记
02-24 3192
  早期目标检测研究以anchor-based为主，设定初始anchor，预测anchor的修正值，分为two-stage目标检测与one-stage目标检测，分别以Faster R-CNN和SSD作为代表。后来，有研究者觉得初始anchor的设定对准确率的影响很大，而且很难找到完美的预设anchor，于是开始不断得研究anchor-free目标检测算法，意在去掉预设anchor的环节，让网络自行学习anchor的位置与形状，在速度和准确率上面都有很不错的表现。anchor-free目标检测算法分为两种，一
Efficient Keyword Searching in Large-scale Social Network Service
02-11
#### 汇总索引的设计与实现 **1. 增量可扩展的Bloom过滤器** 为了高效地汇总邻居产生的内容，研究人员设计了一种增量可扩展的Bloom过滤器。这种过滤器能够动态地适应内容的变化，并且随着数据的增长而自动扩展，...
Efficient Searching with a TCAM-based Parallel Architecture
02-06
结果显示，新方案在最坏情况下能够在缓存更新状态下实现(N-1)*90%的加速因子，在正常工作状态下实现N*90%的加速因子。这表明新方案不仅显著提高了IP查找速度，还大大降低了更新时间，同时维持了较低的功耗水平。 综...
Searching-for-Gravitational-Waves-Using-Convolutional-Neural-Networks
03-09
标题 "Searching-for-Gravitational-Waves-Using-Convolutional-Neural-Networks" 暗示了这是一个利用卷积神经网络（CNN）在引力波数据中进行搜索的项目。引力波是由爱因斯坦广义相对论预言的、由大质量天体加速运动...
dense prediction的理解
qq_38078827的博客
07-11 1103
dense prediction
dense prediction问题
weixin_30552635的博客
11-09 1878
dense prediction 理解：标注出图像中每个像素点的对象类别，要求不但给出具体目标的位置，还要描绘物体的边界，如图像分割、语义分割、边缘检测等等。 基于深度学习主要的做法有两种： 基于图像分块：利用像素、超像素块周围小邻域进行独立的分类。（在分类网络中使用全连接层，固定图像块尺寸） 基于全卷积网络：对图像进行pixel-to-pixel 的预测，可以得到任意大小的图...
【语义分割】Searching for Efficient Multi-Scale Architectures for Dense Image Prediction翻译
会意的博客
10-18 4155
神经网络架构的设计是机器学习系统在广泛的任务中达到最先进性能的重要组成部分。许多工作都致力于通过巧妙构建搜索空间与简单学习算法配合来自动设计和构建体系结构。最近的进展表明，这种元学习（meta-learning）方法可能超出可扩展的人为发明的图像分类任务架构。 一个悬而未决的问题是这些方法可以推广到新领域的程度。在这项工作中，我们探索了密集图像预测的元学习技术的构建，重点是场景解析，人物部分（person-part ）分割和语义图像分割的任务。由于视觉信息的多尺度表示和在高分辨率图像上操作的必要性，在该领域
【论文笔记】MSDNet MULTI-SCALE DENSE NETWORKS FOR RESOURCE EFFICIENT IMAGE CLASSIFICATION
灰太狼Polaris的专栏
03-20 4040
MSDNet 这篇文章是2017ICML上的一篇文章，觉得挺有意思，就阅读了文章，并整理成笔记。我尽量用简单的语言，尽可能的把我对文章的理解写出来，有什么不对的地方，请大家多多指正。 摘要 这篇主要是对计算资源限制的条件下，对于图像分类模型的优化和求解。毕竟，计算资源并不是免费的。为了能够达到在不同的设备上，不同的限制的资源条件下就行图像分类，论文设置了两个实验条件限制。 1、Anyt...
论文笔记：Multi-Scale Dense Networks for Resource Efficient Image Classification
想变有趣的EMMA
02-25 1769
Multi-Scale Dense Networks for Resource Efficient Image Classification [ICLR2018 oral] 原文链接：传送门 目录 Multi-Scale Dense Networks for Resource Efficient Image Classification 目录 问题 解决方法 个人理解 主要贡献 ...
语义分割Searching for Efficient Multi-Scale Architectures for Dense Image Prediction论文详解
sinat_24674017的博客
07-24 403
论文链接 https://arxiv.org/abs/1809.04184 动机 目前的工作显示了在图像分类任务上，通过meta learning自动设计的网络的表现已经超过了一些人工设计的网络。但是我们希望把meta learning技巧运用到其他视觉任务上，比如语义分割、目标检测。这类任务依赖高分辨率的图片输入以及多尺度的图片特征表达。但是把分类任务的想法运用到这类更复杂的任务上无法满足任务要...
Paper | Multi-scale Dense Networks for Resource Efficient Image Classification
LVXIAO2897的博客
09-23 364
目录 故事背景 方法 两种加速策略 网络设计 网络优化 失败设计 回头品味 实验 数据集和数据处理 结果 复现代码 数据准备...
CVPR 2017精彩论文解读：Xception深度可分离卷积模型
zchang81的博客
08-23 6384
在Inception模块基础之上，当所有3*3或5*5的卷积都作用在只有一个通道的特征图上时，通道间的相关性和空间上的相关性即达到了完全分离的效果。
XceptionNet论文详解
qq_38807688的博客
11-28 5228
原文地址： https://arxiv.org/pdf/1610.02357.pdf 时间： 出现于inception v4之后。 论文目标： 进一步提高网络性能（目标并非压缩网络）（在不增加网络复杂度的情况下）。 论文的主要工作： 受启发与inception模块，也可以说是对inception v3的一种改进，主要是采用depthwise separable co...
Searching for tRNAs with HMM-enabled Infernal，是什么意思
最新发布
06-10
"Searching for tRNAs with HMM-enabled Infernal" 的意思是使用 Infernal 软件工具进行 tRNA 的搜索，并且使用了 HMM（隐马尔可夫模型）来提高搜索的准确性和灵敏度。Infernal 是一种用于 RNA 序列分析的软件工具，...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值