deeplab运行指南

2017-12-14 21:20:54 4001 收藏 2
最后发布:2017-12-14 21:20:54首发:2017-12-14 21:20:54
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiamentingtao/article/details/78807146
展开

以下仅仅为一个总结，参考了网上的众多资料，仅备忘记。

主要链接

主要运行步骤

如下我们主要以网上开源的一个版本讲解：https://github.com/xmojiao/deeplab_v2 .
主要的步骤可以参考：
1. 图像语义分割：从头开始训练deeplab v2系列之一【源码解析】
2. 图像语义分割：从头开始训练deeplab v2系列之二【VOC2012数据集】
3. Deeplab v2 调试全过程（Ubuntu 16.04+cuda8.0）

下面说一些这上面没有的我遇到的一些问题。
1. 安装 matio:
上面资料中都使用 matio-1.5.2.tar.gz ，但是我装不上，可能与我的库不兼容，于是我下载了最新的 matio-1.5.11 ，并且按照如下命令运行安装：

cd matio-1.5.11 
./configure --prefix=/data1/... (填写自己的安装目录)
make 
make check （可略）
make install 

最后在bash.rc上加上 LD_LIBRARY_PATH=/your/path/to/libmatio.so.2

参考：http://blog.csdn.net/houqiqi/article/details/46469981
2. 使用的Caffe版本比较陈旧，导致会出现很多和最新环境不兼容的情况，我使用的是cuDNN6.0,cuda8.0
出现：

./include/caffe/util/cudnn.hpp: In function ‘void caffe::cudnn::createPoolingDesc(cudnnPoolingStruct**, caffe::PoolingParameter_PoolMethod, cudnnPoolingMode_t*, int, int, int, int, int, int)’:
./include/caffe/util/cudnn.hpp:127:41: error: too few arguments to function ‘cudnnStatus_t cudnnSetPooling2dDescriptor(cudnnPoolingDescriptor_t, cudnnPoolingMode_t, cudnnNanPropagation_t, int, int, int, int, int, int)’
         pad_h, pad_w, stride_h, stride_w));

这是由于所使用的cuDNN版本不一致的导致的，作者配置环境是cuDNN 4.0，但是5.0版本后的cuDNN接口有所变化。

解决方法 ：将以下几个文件用最新BVLC版本的caffe对应文件替换并重新编译

./include/caffe/util/cudnn.hpp
./include/caffe/layers/cudnn_conv_layer.hpp
./include/caffe/layers/cudnn_relu_layer.hpp
./include/caffe/layers/cudnn_sigmoid_layer.hpp
./include/caffe/layers/cudnn_tanh_layer.hpp

./src/caffe/layers/cudnn_conv_layer.cpp
./src/caffe/layers/cudnn_conv_layer.cu
./src/caffe/layers/cudnn_relu_layer.cpp
./src/caffe/layers/cudnn_relu_layer.cu
./src/caffe/layers/cudnn_sigmoid_layer.cpp
./src/caffe/layers/cudnn_sigmoid_layer.cu
./src/caffe/layers/cudnn_tanh_layer.cpp
./src/caffe/layers/cudnn_tanh_layer.cu

参考：http://blog.csdn.net/tianrolin/article/details/71246472
3. 如何解决deeplab v2识别结果为全黑图像的问题？
正如作者而言：http://liangchiehchen.com/projects/DeepLab_FAQ.html

Q: When evaluating the DeepLab outputs (without CRF), I got all-background results (i.e., all black results). Is there anything wrong?

A: Please double check if the name of your fc8 is fc8_voc12 in the generated test_val.prototxt or test_test.prototxt (after running run_pascal.sh). The name should be matched for initialization.

主要是作者预训练的模型与你实际测试的模型出现了偏差。主要是fc8 的问题。
以https://github.com/xmojiao/deeplab_v2 为例，如果直接使用此代码，则run_pascal.sh出现在voc12目录下，而run_pascal.sh上EXP2=. ，这与官方的预设不同。官方代码，假定run_pascal.sh应该出现在voc12上一级目录下。 这样最后测试时会出现fc8_voc12_1,fc8_voc12_2,fc8_voc12_3,fc8_voc12_4被忽略的情况。

另外由于测试时需要将test.prototxt复制为test_val.prototxt，所以应该主要修改test.prototxt。
test.prototxt改动如下

layer {
  name: "data"
  type: "ImageSegData"
  top: "data"
  top: "label"
  top: "data_dim"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 513
    mean_value: 104.008
    mean_value: 116.669
    mean_value: 122.675
  }
  image_data_param {
    root_folder: "${DATA_ROOT}"
    source: "../${EXP}/list/${TEST_SET}.txt"  （改变）
    batch_size: 1
    label_type: NONE
  }
}

run_pascal.sh改变如下

#!/bin/sh

## MODIFY PATH for YOUR SETTING
ROOT_DIR=/data1/caiyong.wang/data/deeplab_data

CAFFE_DIR=../deeplab-public-ver2
CAFFE_BIN=${CAFFE_DIR}/.build_release/tools/caffe.bin

EXP=voc12  #适应原始训练好的模型目录  （改变）
EXP2=.   #当前目录下               （改变）

if [ "${EXP2}" = "." ]; then
    NUM_LABELS=21
    DATA_ROOT=${ROOT_DIR}/VOC_aug/dataset/
else
    NUM_LABELS=0
    echo "Wrong EXP name"
fi


## Specify which model to train
########### voc12 ################
NET_ID=deeplab_largeFOV


## Variables used for weakly or semi-supervisedly training
#TRAIN_SET_SUFFIX=
TRAIN_SET_SUFFIX=_aug

#TRAIN_SET_STRONG=train
#TRAIN_SET_STRONG=train200
#TRAIN_SET_STRONG=train500
#TRAIN_SET_STRONG=train1000
#TRAIN_SET_STRONG=train750

#TRAIN_SET_WEAK_LEN=5000

DEV_ID=0

#####

## Create dirs

CONFIG_DIR=${EXP2}/config/${NET_ID}
MODEL_DIR=${EXP2}/model/${NET_ID}
mkdir -p ${MODEL_DIR}
LOG_DIR=${EXP2}/log/${NET_ID}
mkdir -p ${LOG_DIR}
export  GLOG_log_dir=${LOG_DIR}

## Run

RUN_TRAIN=0
RUN_TEST=1
RUN_TRAIN2=0
RUN_TEST2=0

## Training #1 (on train_aug)

if [ ${RUN_TRAIN} -eq 1 ]; then
    #
    LIST_DIR=${EXP2}/list
    TRAIN_SET=train${TRAIN_SET_SUFFIX}
    if [ -z ${TRAIN_SET_WEAK_LEN} ]; then
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    else
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}_head${TRAIN_SET_WEAK_LEN}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt | head -n ${TRAIN_SET_WEAK_LEN} > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    fi
    #
    MODEL=${EXP2}/model/${NET_ID}/init.caffemodel
    #
    echo Training net ${EXP2}/${NET_ID}
    for pname in train solver; do
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/${pname}.prototxt > ${CONFIG_DIR}/${pname}_${TRAIN_SET}.prototxt
    done
        CMD="${CAFFE_BIN} train \
         --solver=${CONFIG_DIR}/solver_${TRAIN_SET}.prototxt \
         --gpu=${DEV_ID}"
        if [ -f ${MODEL} ]; then
                CMD="${CMD} --weights=${MODEL}"
        fi
        echo Running ${CMD} && ${CMD}
fi

## Test #1 specification (on val or test)

if [ ${RUN_TEST} -eq 1 ]; then
    #
    for TEST_SET in val; do
                TEST_ITER=`cat ${EXP2}/list/${TEST_SET}.txt | wc -l`
                MODEL=${EXP2}/model/${NET_ID}/test.caffemodel
                if [ ! -f ${MODEL} ]; then
                        MODEL=`ls -t ${EXP2}/model/${NET_ID}/train_iter_*.caffemodel | head -n 1`
                fi
                #
                echo Testing net ${EXP2}/${NET_ID}
                FEATURE_DIR=${EXP2}/features/${NET_ID}
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc8
        mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc9
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/seg_score
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/test.prototxt > ${CONFIG_DIR}/test_${TEST_SET}.prototxt
                CMD="${CAFFE_BIN} test \
             --model=${CONFIG_DIR}/test_${TEST_SET}.prototxt \
             --weights=${MODEL} \
             --gpu=${DEV_ID} \
             --iterations=${TEST_ITER}"
                echo Running ${CMD} && ${CMD}
    done
fi

## Training #2 (finetune on trainval_aug)

if [ ${RUN_TRAIN2} -eq 1 ]; then
    #
    LIST_DIR=${EXP2}/list
    TRAIN_SET=trainval${TRAIN_SET_SUFFIX}
    if [ -z ${TRAIN_SET_WEAK_LEN} ]; then
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    else
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}_head${TRAIN_SET_WEAK_LEN}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt | head -n ${TRAIN_SET_WEAK_LEN} > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    fi
    #
    MODEL=${EXP2}/model/${NET_ID}/init2.caffemodel
    if [ ! -f ${MODEL} ]; then
                MODEL=`ls -t ${EXP2}/model/${NET_ID}/train_iter_*.caffemodel | head -n 1`
    fi
    #
    echo Training2 net ${EXP2}/${NET_ID}
    for pname in train solver2; do
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/${pname}.prototxt > ${CONFIG_DIR}/${pname}_${TRAIN_SET}.prototxt
    done
    CMD="${CAFFE_BIN} train \
         --solver=${CONFIG_DIR}/solver2_${TRAIN_SET}.prototxt \
         --weights=${MODEL} \
         --gpu=${DEV_ID}"
        echo Running ${CMD} && ${CMD}
fi

## Test #2 on official test set

if [ ${RUN_TEST2} -eq 1 ]; then
    #
    for TEST_SET in val test; do
                TEST_ITER=`cat ${EXP2}/list/${TEST_SET}.txt | wc -l`
                MODEL=${EXP2}/model/${NET_ID}/test2.caffemodel
                if [ ! -f ${MODEL} ]; then
                        MODEL=`ls -t ${EXP2}/model/${NET_ID}/train2_iter_*.caffemodel | head -n 1`
                fi
                #
                echo Testing2 net ${EXP2}/${NET_ID}
                FEATURE_DIR=${EXP2}/features2/${NET_ID}
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc8
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/crf
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/test.prototxt > ${CONFIG_DIR}/test_${TEST_SET}.prototxt
                CMD="${CAFFE_BIN} test \
             --model=${CONFIG_DIR}/test_${TEST_SET}.prototxt \
             --weights=${MODEL} \
             --gpu=${DEV_ID} \
             --iterations=${TEST_ITER}"
                echo Running ${CMD} && ${CMD}
    done
fi
展开阅读全文
还能输入1000个字符

LESLIEZX的博客

11-15 7380

DeepLab_V3+图像分割理解到亲手训练

图像分割算法deeplab_v3+，基于tensorflow，中文注释，摄像头可用 deeplab_v3_plus简介图像分割是主要功能是将输入图片的每个像素都分好类别，也相当于分类过程。举例来说就是将大小为[h,w,c]的图像输出成[h,w,1]，每个像素值代表一个类别。deeplab_v3+可以参考论文Encoder-DecoderwithAtrousSeparable......

生如的博客

10-09 1993

Python图片重命名并复制并将label数据集改成单通道——deeplabv3+制作自己的训练数据集

主要是在准备deeplabv3+训练数据集，用自己的数据然后用labelme工具进行数据分割标注。得到.json，利用labelme_json_to_dataset <文件名>.json 得到每张图片对应的<文件名>_json的文件夹，里面有该图片对应的文件，如下：每个<文...

杰瑞的博客

10-13 5226

Tensoflow-代码实战篇--Deeplab-V3+--代码复现（二）

在上篇博文中，我详细的介绍了如何在数据集Cityscapes复现Deeplab（v3+），这篇文章主要介绍一下对数据集VOC2012的验证。一、参考资料：1、官方代码：githup2、大神博客：https://blog.csdn.net/qq_32799915/article/details/80070711二、准备工作：环境：关于如何配置tensorflow环境以及路径的导入请见上文......

niuniu924的博客

07-04 2056

Deeplabv3+安装并运行自己的数据集

论文：https://arxiv.org/pdf/1802.02611.pdf源码：https://github.com/tensorflow/models/tree/master/research/deeplab环境：ubuntu16.04 + cuda9.0 + cudnn7.6 + tensorflow-gpu1.11cuda9.0 + cudnn7.6安装配置可参照：https...

Kelvin_XX的博客

08-22 1万+

使用 deeplabv3+ 训练自己的数据集经验总结

简介deeplabv3+是现今性能最好的语义分割模型之一，本文介绍如何在window环境下安装并运行deeplabv3+。本文将详细介绍deeplabv3+的环境配置，训练自己的数据，参数调试等内容。Update：2018-8-22环境搭建，数据集预处理，训练自己的数据Todo：✔环境介绍Anaconda，使用gitbash运行.sh文件deeplab......

gzq0723的博客

03-24 2028

DeepLab v2及调试过程

今天我们开始说说语义分割第二个系列，DeepLab V2。说这个之前，我们先说说FCN的一些简单知识。图像语义分割，简单而言就是给定一张图片，对图片上的每一个像素点分类。 图像语义分割，从FCN把深度学习引入这个任务到现在，一个通用的框架已经大概确定了。即前端使用FCN全卷积网络输出粗糙的label map，后端使用CRF条件随机场/MRF马尔科夫随机场等优化前端的输出，最后得到一个精细的分割图。...

lfs666666的博客

10-09 2529

运行deeplab v3+相关准备工作

1、deeplab v3+源码：https://github.com/tensorflow/models/tree/master/research/deeplab2、deeplab v3+配置及测试教程：https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/installation.md3、注意点：A...

lovetobelove的博客

06-20 857

运行deeplabv3plus

1、 参考博客网址：利用deeplab v3+开源代码训练PASCAL VOC 2012数据集https://blog.csdn.net/lfs666666/article/details/83042119论文笔记: DeepLab v3+https://delnasay.github.io/2018/10/14/%E8%AE%BA%E6%96%87%E7%AC%94%E8%AE...

sinoai

01-10 1743

运行DeepLabv3+

用于语义图像分割的带空洞可分离卷积的编解码器论文 源码 讲解下面第一个是原作者提供的代码，基于tf.contrib.slim。第二个代码是网友实现的，基于tf.estimator。tf.estimator是比tf.contrib.slim更高级的API，能同时训练和验证模型。[更多]Tensorflow/model下面的源码安装tensoeflow-gpu==1.9.0(pytho......

xjtdw的博客

06-19 2143

deeplab_v3 实现 制作并训练自己的数据集——个人采坑

deeplab_v3制作并训练自己的数据集过程一、源码连接二、环境测试我设置的ubuntu默认python为 python==3.5，配置的环境也是基于python3.5，python2不知是否有错。1）测试文件一：2）测试文件二：三、数据集制作我是按照PASCAL VOC目录格式制作，但是也不必一板一眼的去遵循PASCAL VOC的tree型目录制作，具体过程如下：**1）制作数据集需要三个文件......

ruotianxia的博客

10-24 1万+

Deeplab v2 调试全过程（Ubuntu 16.04+cuda8.0）

Deeplabv2 调试全过程（Ubuntu 16.04+cuda8.0）本人刚接触深度学习与caffe，经过几天的填坑，终于把Deeplabv2的 run_pascal.sh与run_densecrf.sh成功运行，现将调试过程整理如下：一、安装必要的依赖库 安装 matio: 安装方法1： sudo apt-get install libmatio-dev 安装方法2： 下载mat...

u013050018的博客

03-29 797

deeplab v2 模型调用及输出分割图的C++程序

#include "deeplab_seg.h"void Segmantation::ConvertToVecMatP(Blob<float> * blob, std::vector<float> & v_float, cv::Mat & outimg) { int c = blob->channels(); int h = blob->heig...

牧野的博客

09-17 4万+

Sift中尺度空间、高斯金字塔、差分金字塔（DOG金字塔）、图像金字塔

一、 图像金字塔图像金字塔是一种以多分辨率来解释图像的结构，通过对原始图像进行多尺度像素采样的方式，生成N个不同分辨率的图像。把具有最高级别分辨率的图像放在底部，以金字塔形状排列，往上是一系列像素（尺寸）逐渐降低的图像，一直到金字塔的顶部只包含一个像素点的图像，这就构成了传统意义上的图像金字塔。获得图像金字塔一般包括二个步骤：1. 利用低通滤波器平滑图像 2. 对平...

weixin_42188270的博客

04-18 719

Deeplabv2之pytorch版复现

pytorch代码链接在docker中跑的，就不用前头的Requirements操作，直接进入后续步骤。一、下载数据集放在指定位置（只详述voc2012的，coco类似不详述，后续都只做voc2012）按照这个tree将数据集放好，此处缺少的SegmentationAug（这里的txt似乎多于图片tree中的txt 师傅说多了总比少得好哈哈哈）和SegmentationClassAug务必按......

weixin_43832437的博客

12-10 2077

Deeplab V3+调试过程

首先是model_test过程：1、按照官方文档 在 # From tensorflow/models/research/ 下添加路径，由于我是Windows环境下，所以$ SET PYTHONPATH=%cd%;%cd%\slim之后在cmd中输入echo %PYTHONPATH%查看路径是否添加成功。2、测试需要在models/research/下进行，这样很不方便，想要在mode......

m0_37973394的博客

05-27 443

Ubuntu14.04中配置运行DeepLabV2

　　DeepLabV2是由Liang-Chieh Chen等提出的一个图像语义分割网络结构，其主要的创新点在于提出了Atrous　convolution（带孔的卷积）结构，从而在增大感受野的同时防止了数据的冗余，提高了逐像素点分类精度，而在最顶层使用的全连接条件随机场(CRF)则精细化了分割边界，现在已经有很多的新的网络基于DeepLab提出．　　原文地址：　https://arxiv.org/a......

sinoai

01-20 511

运行DeepLabv2

DeepLab：带深度卷积网、空洞卷积和全连接CRF的语义图像分割 论文 讲解测试单张图片下载源码，修改源码文件夹名称为DeepLabv2。基于Caffe的源码在这。 下载模型，解压缩得到deeplab_resnet.ckpt和deeplab_resnet_init.ckpt，把这两个文件放入DeepLabv2/output文件夹。找一个图片1.jpg也放入该文件夹。 在DeepLab......

/home/pzl/wait的博客

06-24 937

DeepLab笔记(未完待续)

Abstract 用DL做semantic image segmentation，本文有three main contributions: 1. atrous convolution：提高feature map的分辨率 ，不增加参数的前提下增大感受野。 2. Atrous Spatial Pyramid Pooling(ASPP)：来对不同的尺度做分割.提高了效果。 3. CRF：进一

做人还是低调点

05-08 5万+

面试：第十六章：Java中级开发

HashMap底层实现原理，红黑树，B+树，B树的结构原理 Spring的AOP和IOC是什么？它们常见的使用场景有哪些？Spring事务，事务的属性，传播行为，数据库隔离级别 Spring和SpringMVC，MyBatis以及SpringBoot的注解分别有哪些？SpringMVC的工作原理，SpringBoot框架的优点，MyBatis框架的优点 SpringCould组件有哪些，他们......
Java C语言 Python C++ C# Visual Basic .NET JavaScript PHP SQL Go语言 R语言 Assembly language Swift Ruby MATLAB PL/SQL Perl Visual Basic Objective-C Delphi/Object Pascal Unity3D

没有更多推荐了，返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读