原

deeplab运行指南

2017年12月14日 21:20:54
阅读数：1666

以下仅仅为一个总结，参考了网上的众多资料，仅备忘记。

主要链接

主要运行步骤

如下我们主要以网上开源的一个版本讲解：https://github.com/xmojiao/deeplab_v2 .
主要的步骤可以参考：
1. 图像语义分割：从头开始训练deeplab v2系列之一【源码解析】
2. 图像语义分割：从头开始训练deeplab v2系列之二【VOC2012数据集】
3. Deeplab v2 调试全过程（Ubuntu 16.04+cuda8.0）

下面说一些这上面没有的我遇到的一些问题。
1. 安装 matio:
上面资料中都使用 matio-1.5.2.tar.gz ，但是我装不上，可能与我的库不兼容，于是我下载了最新的 matio-1.5.11 ，并且按照如下命令运行安装：

cd matio-1.5.11 
./configure --prefix=/data1/... (填写自己的安装目录)
make 
make check （可略）
make install 

最后在bash.rc上加上 LD_LIBRARY_PATH=/your/path/to/libmatio.so.2

参考：http://blog.csdn.net/houqiqi/article/details/46469981
2. 使用的Caffe版本比较陈旧，导致会出现很多和最新环境不兼容的情况，我使用的是cuDNN6.0,cuda8.0
出现：

./include/caffe/util/cudnn.hpp: In function ‘void caffe::cudnn::createPoolingDesc(cudnnPoolingStruct**, caffe::PoolingParameter_PoolMethod, cudnnPoolingMode_t*, int, int, int, int, int, int)’:
./include/caffe/util/cudnn.hpp:127:41: error: too few arguments to function ‘cudnnStatus_t cudnnSetPooling2dDescriptor(cudnnPoolingDescriptor_t, cudnnPoolingMode_t, cudnnNanPropagation_t, int, int, int, int, int, int)’
         pad_h, pad_w, stride_h, stride_w));

这是由于所使用的cuDNN版本不一致的导致的，作者配置环境是cuDNN 4.0，但是5.0版本后的cuDNN接口有所变化。

解决方法 ：将以下几个文件用最新BVLC版本的caffe对应文件替换并重新编译

./include/caffe/util/cudnn.hpp
./include/caffe/layers/cudnn_conv_layer.hpp
./include/caffe/layers/cudnn_relu_layer.hpp
./include/caffe/layers/cudnn_sigmoid_layer.hpp
./include/caffe/layers/cudnn_tanh_layer.hpp

./src/caffe/layers/cudnn_conv_layer.cpp
./src/caffe/layers/cudnn_conv_layer.cu
./src/caffe/layers/cudnn_relu_layer.cpp
./src/caffe/layers/cudnn_relu_layer.cu
./src/caffe/layers/cudnn_sigmoid_layer.cpp
./src/caffe/layers/cudnn_sigmoid_layer.cu
./src/caffe/layers/cudnn_tanh_layer.cpp
./src/caffe/layers/cudnn_tanh_layer.cu

参考：http://blog.csdn.net/tianrolin/article/details/71246472
3. 如何解决deeplab v2识别结果为全黑图像的问题？
正如作者而言：http://liangchiehchen.com/projects/DeepLab_FAQ.html

Q: When evaluating the DeepLab outputs (without CRF), I got all-background results (i.e., all black results). Is there anything wrong?

A: Please double check if the name of your fc8 is fc8_voc12 in the generated test_val.prototxt or test_test.prototxt (after running run_pascal.sh). The name should be matched for initialization.

主要是作者预训练的模型与你实际测试的模型出现了偏差。主要是fc8 的问题。
以https://github.com/xmojiao/deeplab_v2 为例，如果直接使用此代码，则run_pascal.sh出现在voc12目录下，而run_pascal.sh上EXP2=. ，这与官方的预设不同。官方代码，假定run_pascal.sh应该出现在voc12上一级目录下。 这样最后测试时会出现fc8_voc12_1,fc8_voc12_2,fc8_voc12_3,fc8_voc12_4被忽略的情况。

另外由于测试时需要将test.prototxt复制为test_val.prototxt，所以应该主要修改test.prototxt。
test.prototxt改动如下

layer {
  name: "data"
  type: "ImageSegData"
  top: "data"
  top: "label"
  top: "data_dim"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 513
    mean_value: 104.008
    mean_value: 116.669
    mean_value: 122.675
  }
  image_data_param {
    root_folder: "${DATA_ROOT}"
    source: "../${EXP}/list/${TEST_SET}.txt"  （改变）
    batch_size: 1
    label_type: NONE
  }
}

run_pascal.sh改变如下

#!/bin/sh

## MODIFY PATH for YOUR SETTING
ROOT_DIR=/data1/caiyong.wang/data/deeplab_data

CAFFE_DIR=../deeplab-public-ver2
CAFFE_BIN=${CAFFE_DIR}/.build_release/tools/caffe.bin

EXP=voc12  #适应原始训练好的模型目录  （改变）
EXP2=.   #当前目录下               （改变）

if [ "${EXP2}" = "." ]; then
    NUM_LABELS=21
    DATA_ROOT=${ROOT_DIR}/VOC_aug/dataset/
else
    NUM_LABELS=0
    echo "Wrong EXP name"
fi


## Specify which model to train
########### voc12 ################
NET_ID=deeplab_largeFOV


## Variables used for weakly or semi-supervisedly training
#TRAIN_SET_SUFFIX=
TRAIN_SET_SUFFIX=_aug

#TRAIN_SET_STRONG=train
#TRAIN_SET_STRONG=train200
#TRAIN_SET_STRONG=train500
#TRAIN_SET_STRONG=train1000
#TRAIN_SET_STRONG=train750

#TRAIN_SET_WEAK_LEN=5000

DEV_ID=0

#####

## Create dirs

CONFIG_DIR=${EXP2}/config/${NET_ID}
MODEL_DIR=${EXP2}/model/${NET_ID}
mkdir -p ${MODEL_DIR}
LOG_DIR=${EXP2}/log/${NET_ID}
mkdir -p ${LOG_DIR}
export  GLOG_log_dir=${LOG_DIR}

## Run

RUN_TRAIN=0
RUN_TEST=1
RUN_TRAIN2=0
RUN_TEST2=0

## Training #1 (on train_aug)

if [ ${RUN_TRAIN} -eq 1 ]; then
    #
    LIST_DIR=${EXP2}/list
    TRAIN_SET=train${TRAIN_SET_SUFFIX}
    if [ -z ${TRAIN_SET_WEAK_LEN} ]; then
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    else
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}_head${TRAIN_SET_WEAK_LEN}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt | head -n ${TRAIN_SET_WEAK_LEN} > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    fi
    #
    MODEL=${EXP2}/model/${NET_ID}/init.caffemodel
    #
    echo Training net ${EXP2}/${NET_ID}
    for pname in train solver; do
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/${pname}.prototxt > ${CONFIG_DIR}/${pname}_${TRAIN_SET}.prototxt
    done
        CMD="${CAFFE_BIN} train \
         --solver=${CONFIG_DIR}/solver_${TRAIN_SET}.prototxt \
         --gpu=${DEV_ID}"
        if [ -f ${MODEL} ]; then
                CMD="${CMD} --weights=${MODEL}"
        fi
        echo Running ${CMD} && ${CMD}
fi

## Test #1 specification (on val or test)

if [ ${RUN_TEST} -eq 1 ]; then
    #
    for TEST_SET in val; do
                TEST_ITER=`cat ${EXP2}/list/${TEST_SET}.txt | wc -l`
                MODEL=${EXP2}/model/${NET_ID}/test.caffemodel
                if [ ! -f ${MODEL} ]; then
                        MODEL=`ls -t ${EXP2}/model/${NET_ID}/train_iter_*.caffemodel | head -n 1`
                fi
                #
                echo Testing net ${EXP2}/${NET_ID}
                FEATURE_DIR=${EXP2}/features/${NET_ID}
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc8
        mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc9
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/seg_score
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/test.prototxt > ${CONFIG_DIR}/test_${TEST_SET}.prototxt
                CMD="${CAFFE_BIN} test \
             --model=${CONFIG_DIR}/test_${TEST_SET}.prototxt \
             --weights=${MODEL} \
             --gpu=${DEV_ID} \
             --iterations=${TEST_ITER}"
                echo Running ${CMD} && ${CMD}
    done
fi

## Training #2 (finetune on trainval_aug)

if [ ${RUN_TRAIN2} -eq 1 ]; then
    #
    LIST_DIR=${EXP2}/list
    TRAIN_SET=trainval${TRAIN_SET_SUFFIX}
    if [ -z ${TRAIN_SET_WEAK_LEN} ]; then
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    else
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}_head${TRAIN_SET_WEAK_LEN}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt | head -n ${TRAIN_SET_WEAK_LEN} > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    fi
    #
    MODEL=${EXP2}/model/${NET_ID}/init2.caffemodel
    if [ ! -f ${MODEL} ]; then
                MODEL=`ls -t ${EXP2}/model/${NET_ID}/train_iter_*.caffemodel | head -n 1`
    fi
    #
    echo Training2 net ${EXP2}/${NET_ID}
    for pname in train solver2; do
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/${pname}.prototxt > ${CONFIG_DIR}/${pname}_${TRAIN_SET}.prototxt
    done
    CMD="${CAFFE_BIN} train \
         --solver=${CONFIG_DIR}/solver2_${TRAIN_SET}.prototxt \
         --weights=${MODEL} \
         --gpu=${DEV_ID}"
        echo Running ${CMD} && ${CMD}
fi

## Test #2 on official test set

if [ ${RUN_TEST2} -eq 1 ]; then
    #
    for TEST_SET in val test; do
                TEST_ITER=`cat ${EXP2}/list/${TEST_SET}.txt | wc -l`
                MODEL=${EXP2}/model/${NET_ID}/test2.caffemodel
                if [ ! -f ${MODEL} ]; then
                        MODEL=`ls -t ${EXP2}/model/${NET_ID}/train2_iter_*.caffemodel | head -n 1`
                fi
                #
                echo Testing2 net ${EXP2}/${NET_ID}
                FEATURE_DIR=${EXP2}/features2/${NET_ID}
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc8
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/crf
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/test.prototxt > ${CONFIG_DIR}/test_${TEST_SET}.prototxt
                CMD="${CAFFE_BIN} test \
             --model=${CONFIG_DIR}/test_${TEST_SET}.prototxt \
             --weights=${MODEL} \
             --gpu=${DEV_ID} \
             --iterations=${TEST_ITER}"
                echo Running ${CMD} && ${CMD}
    done
fi
阅读更多

扫码向博主提问

xiamentingtao

随便问吧，无论学术还是人生
  • 擅长领域：
  • cv
  • math
  • 考博
  • 算法
  • AI
去开通我的Chat快问
版权声明：本文为博主原创文章，转载请注明原地址。 https://blog.csdn.net/xiamentingtao/article/details/78807146
文章标签： deep-learning
个人分类： 深度学习

使用TensorFlow DeepLab进行语义分割

参考 https://github.com/tensorflow/models/tree/master/research/deeplab 使用 TensorFlow DeepLab 进行语义分割 ...
想对作者说点什么？ 我来说一句

deeplabv2 (vgg实现版本) ＋ resnet101实现版本手稿结构

jiachen0212 jiachen0212

11-15 2126

只部分贴图，有新理解了再来补充。。 下面这个要注意啦，这个点我们在代码实现的时候还不小心搞错了。。。它的操作是：train时，把label缩小8倍去和网络的计算结果图计算loss；test时则...

Windows 上 DeepLab v3+ 训练自己的数据集

X_Cosmic X_Cosmic

07-05 496

Windows10 tensorflow 1.6 cuda 9.0 cudnn7.01、源码：https://github.com/tensorflow/models/tree/master/rese...

TensorFlow实战：Chapter-9上(DeepLabv3+代码实现)

u011974639 u011974639

06-04 5354

参考资料 使用代码地址：github-DeepLabv3+ 官方教程 调试指令参考local_test.sh 前提工作 这里主要分成两步： 1.先配置基本的开发环境 2.下载...

图像语义分割：从头开始训练deeplab v2系列之一【源码解析】

Xmo_jiao Xmo_jiao

08-22 5526

好记性不如烂笔头, 最近用Deeplab v2跑的图像分割，现记录如下。 官方源码地址如下：https://bitbucket.org/aquariusjay/deeplab-public-ver2...

如何在直播中解决黑屏、花屏、闪屏问题 | 直播疑难杂症排查

u010646653 u010646653

06-05 3359

用户的眼睛没毛病！10 分钟搞明白如何在直播中解决黑屏、花屏、闪屏问题

图像处理与识别学习小结

suw0801123 suw0801123

09-10 1711

图像处理与识别学习小结   数字图像处理是对图像进行分析、加工、和处理，使其满足视觉、心理以及其他要求的技术。图像处理是信号处理在图像域上的一个应用。目前大多数的图像是以数字形式存储，因而图像处理...

图像识别与处理——图像的表示与通道数问题

mao_hui_fei mao_hui_fei

10-12 915

图像的表示与通道数问题数字图像的基本概念 对于一幅的数字图像，我们看到的是 肉眼可见的一幅真正的图片，但是计算机看来，这副图像只是一堆亮度各异的点。一副尺寸为 M × N 的图像可以用一个 M × ...

MATLAB生成图像保存时四周全黑色问题解决方案

wangh0802 wangh0802

05-07 253

MATLAB生成图像保存时四周全黑色问题解决方案有时候不论怎么输入背景颜色命令等，MATLAB生成的图像保存为图片格式时，四周会出现全黑的情况。这是有个很简单的方法。在matlab命令框输入prefd...

图像识别中的深度学习

zhcheng26 zhcheng26

05-11 6.2万

图像识别中的深度学习 来源：《中国计算机学会通讯》第8期《专题》 作者：王晓刚 深度学习发展历史 深度学习是近十年来人工智能领域取得的重要突破。...

没有更多推荐了，返回首页

注册
关闭
关闭
关闭