FCN---训练cityspaces

      未经允许，不要随意转载！

     最近想试试用FCN训练自己的数据集，想想标注是一件很费劲的事，于是就想到了用其他库里的数据，这里选用了cityspaces,默认已经配置好FCN.

    1、下载cityspaces

      https://www.cityscapes-dataset.com/

       需要注册一个账号

       cityspaces包含2917个训练样本，与500个测试样本。为了尽量少改源码，将cityspaces训练的原始样本放入到img文件夹下，标注样本放入到cls文件夹下。

       建立一个train文件夹，在train文件夹下放入img文件夹，cls文件夹，以及train.txt。

       将cityspaces测试的原始样本放入到JPEGImages文件夹下，标注的样本放入到SegmentationClass文件夹下，val.txt放入到ImageSets/Segmentation文件中。

       建立一个test文件夹，在test文件夹下放入JPEGImages、SegmentationClass以及ImageSets三个文件夹。

       这样测试样本就建立好了。值得注意的是train.txt以及val.txt每一行存储的是不带路径与后缀的图片名。标注文件名与原始图像名称要对应。

    2、修改voc_layers.py

        FCN训练默认使用的标注样本是mat文件，这里改为标注的png文件。

       修改voc_layers.py中的登录标注文件函数load_label。

       原始函数如下：

    def load_label(self, idx):
        """
        Load label image as 1 x height x width integer array of label indices.
        The leading singleton dimension is required by the loss.
        """
        import scipy.io
        mat = scipy.io.loadmat('{}/cls/{}.mat'.format(self.sbdd_dir, idx))
        label = mat['GTcls'][0]['Segmentation'][0].astype(np.uint8)
        label = label[np.newaxis, ...]
        return label

    修改代码如下：

    def load_label(self, idx):
        """
        Load label image as 1 x height x width integer array of label indices.
        The leading singleton dimension is required by the loss.
        """
        im = Image.open('{}/cls/{}.png'.format(self.sbdd_dir, idx))
        label = np.array(im, dtype=np.uint8)
        label = label[np.newaxis, ...]
        return label

   3、修改num_output

      原始FCN标注的样本类别为20+1（背景），将train.prototxt ，val.prototxt 与net.py中所有num_output：21改为自己的类别个数。

     cityspaces的标注如下：

    这里值得注意的是：我一开始设置了num_output 为34，结果出错如下：

   Check failed: status == CUBLAS_STATUS_SUCCESS (11 vs. 0) CUBLAS_STATUS_MAPPING_ERROR

    通过查找发现，标注的类别不对。

    后来我才发现cityspaces标注的trainId最大为255，于是我将num_output改为256，问题解决。

   4、修改相应的路径：

        solver.prototxt中的路径：

        train_net: "train.prototxt"  改为自己的绝对路径
        test_net: "val.prototxt"      改成自己的绝对路径
        test_iter: 500         改为自己的测试迭代次数，由于这里是每次取1张照片，所以这里的test_iter等于测试样本的个数           
        snapshot_prefix: "/snapshot/train"     训练结果的存储路径，确保snapshot文件夹存在

        

        train.prototxt中的路径：

        param_str: "{\'sbdd_dir\': \'改成自己的train文件夹的绝对路径', \'seed\': 1337, \'split\': \'train\', \'mean\': (104.00699, 116.66877, 122.67892)}"

 

         val.prototxt中的路径：

          param_str: "{\'voc_dir\': \'改成自己的test文件夹的绝对路径', \'seed\': 1337, \'split\': \'seg11valid\', \'mean\': (104.00699, 116.66877, 122.67892)}"

 

          solve.py中的路径：

          .......

          import sys  
          sys.path.append('改成自己配置的caffe中的python所在的绝对路径')
          import caffe

          .......

          vgg_weights = '../ilsvrc-nets/vgg16-fcn.caffemodel'  注释掉，因为这里是用的自己的数据，没有参考的model为base了

          # init
          #caffe.set_device(int(sys.argv[1]))
          caffe.set_mode_gpu()
          caffe.set_device(0)

          .....
          vgg_net=caffe.Net(vgg_proto,vgg_weights,caffe.TRAIN)  注释掉
          surgery.transplant(solver.net,vgg_net)  
          ....

          val = np.loadtxt('..../test/ImageSets/Segmentation/val.txt', dtype=str) 改成自己的绝对路径

          .....

       5、准备工作已经完成，可以开始训练了python solve.py

            但是由于cityspaces的每张图片的大小是2048x1024，太大了，导致出现下面错误：

            Check failed: error  == cudaSuccess (2 vs. 0)  out of memory  

            于是将cityspaces中的用的训练，测试，标注文件都resize到512x256这个大小，错误解决。

             此外，我用的cityspaces标注样本均为后缀是_gtFine_color.png的图片，该图片是4通道的，出现了下列错误：

            Check failed: outer_num_ * inner_num_ == bottom[1]->count() (131072 vs. 524288)

            所以需要将cityspaces中的标注文件都改成单通道。

             相应修改的matlab代码如下：

             

          

 

 

参考博客：https://blog.csdn.net/zoro_lov3/article/details/74550735