(绝对详细)CenterNet训练自己的数据(pytorch0.4.1)

我的任务是在行人头肩数据上训练并测试centernet网络,先证明一下我是真的训练了哈,这是用centernet检测的一张结果(训练了10个epochs的结果,大家放心使用,网络功能还是很强大的):

我参考的这篇博客,对我自己的实验帮助很大:https://blog.csdn.net/weixin_42634342/article/details/97756458

论文作者代码https://github.com/xingyizhou/CenterNet

这个博客是整个训练的过程,可能会有点长。

1. 准备数据集

    0.(我用的数据是VOC格式的,需要将其转化为COCO格式)

    详细过程在我的另一个博客里,本来想写在这里,发现太长了,就移到另一个里了。

    链接:https://blog.csdn.net/weixin_41765699/article/details/100124689

    1. 当我们生成三个json文件之后,来到CenterNet这个工程里,在data文件夹下新建一个文件夹,名字就是你数据集的名字,如下图:

     再在这个文件夹里面建两个文件夹(annotations里面存放的是我们之前生成的那三个json文件;images存放的是所有的图片,包括训练测试验证三个,所有的):

    2. 在src/lib/datasets/dataset里面新建一个“ped. py”,文件内容照着文件夹下coco.py改成自己的

       0. 将COCO类改成自己的名字

       

       1. 第14行num_classes=80改成自己的类别数
       2. 第15行default_resolution(这个参数有两种(300,300)或者(512,512),很明显512的参数计算量大,300计算量小,我用的是512,之后打算训练一个300的对比一下)
       3. 接下来的mean和std改成自己图片数据集的均值和方差,脚本链接:                            https://blog.csdn.net/weixin_41765699/article/details/100118660

       4. 修改数据和图片路径,data_dir 输入的是咱们之前建立的数据集文件夹的名字,img_dir 输入的是 images 图片文件夹

       5. 修改json文件路径如下:

       6.  类别名字和类别id改成自己

       我就改了以上六点内容。

    3. 将数据集加入src/lib/datasets/dataset_factory里面

       1. 在dataset_facto字典里加入自己的数据集名字 (格式为   '你之前创建的Python文件的名字':你自己数据集类的名字,因为要从你创建的py文件里找到你的数据类,名字必须对应上)

    4. 修改/src/lib/opts.py

         1.第一步,将自己的数据集设为默认数据集,加入到help里面

self.parser.add_argument('--dataset', default='ped',  
                                 help='coco | kitti | coco_hp | pascal | ped)

         2.修改ctdet任务使用的默认数据集为新添加的数据集,如下(修改分辨率,类别数,均值,方差,数据集名字):

   

         3. 修改src/lib/utils/debugger.py文件(变成自己数据的类别和名字,前后数据集名字一定保持一致)

       

            再加上自己数据的类别,不包括背景__background__

            

      到这里,准备数据集的工作就告一段落了!

2. 搭建pytorch0.4.1+cuda90+cudnn7.6.1(版本不能改,还有就是numpy的版本必须在1.13以上,建议装最新的)

     我搭建这个环境也费老大劲了,pytorch1.2貌似直接pip安装就自动装上了cuda和cudnn,0.4.1版本的我没看见有自动安装的,所以就苦哈哈自己动手装了,关于这个,我也记录了一下,大家也可以自己上网查查别的方法

cuda和cudnn安装链接:https://blog.csdn.net/weixin_41765699/article/details/99966617

torch0.4.1安装链接:https://blog.csdn.net/weixin_41765699/article/details/99756697

3. 克隆工程并运行demo

    关于工程里面这个作者写的很详细了,我是按照一步步来的,没有出错。https://github.com/xingyizhou/CenterNet/blob/master/readme/INSTALL.md

    程序里面在运行demo.py之前,会下载一个预训练权重(比如dla34,resnet18,resnet101之类的),这个不用管,等他下载完,因为我们训练的时候也要用的。(下载的时候可能会很慢,如果是在龟速的话,将他下载的网址用QQ浏览器打开自己下载,下载完放到这个它自动创建的文件夹里就可以了,QQ浏览器下载确实比其他的稍快一些)

    

   改完之后在MODEL_ZOO.md里面下载参数,ctdet_coco_dla_2x,下载完毕后放在models文件夹里面。
到这里,环境基本搭建成功,接下来可以跑一下代码了

(模型文件下载貌似要Google drive,这是我下载的:

链接:https://pan.baidu.com/s/1QOmIwy8lXJBuLv5hH5j3ag 
提取码:vwk4 )

    运行demo.py

python demo.py ctdet --demo /home/CenterNet/images/ --load_model /home/CenterNet/models/ctdet_coco_dla_2x.pth

嘿嘿嘿

     要注意的是,当弹出第一站图片的时候,按esc除外的任意键可以继续检测下一张图,想要保存检测结果的话,只需要在src/lib/detectors/cdet.py文件中:

    def show_results(self, debugger, image, results):  # demo文件會調用這個函數,本函`python main.py ctdet --exp_id coco_dla --batch_size 32 --master_batch 1 --lr 1.25e-4  --gpus 0,1`數是demo時顯示圖片並保存圖片
        debugger.add_img(image, img_id='ctdet')
        for j in range(1, self.num_classes + 1):
            for bbox in results[j]:
                if bbox[4] > self.opt.vis_thresh:
                    debugger.add_coco_bbox(bbox[:4], j - 1, bbox[4], img_id='ctdet')
        debugger.show_all_imgs(pause=self.pause)
        debugger.save_all_imgs(path='/home/czb/CenterNet-master/output/', genID=True)

      加上一行代码,就是最后一行debugger.save_all_imgs(path='/home/CenterNet/output/', genID=True) ,path是输出路径,需要在CenterNet文件夹下新建一个文件夹output,然后再运行一遍发现检测后的图片就会保存在这个文件夹里面了。当然,去掉倒数第二行show_all_imgs,那么运行的时候就不会弹出照片了。

4. 训练阶段

     1. 定位一下发现前面自己建立的ped.py文件(修改下面的代码):

   if split == 'val':
            self.annot_path = os.path.join(
                self.data_dir, 'annotations',
                'val.json').format(split) # 修改test的json文件位置
        else:
            if opt.task == 'exdet':
                self.annot_path = os.path.join(
                    self.data_dir, 'annotations',
                    'train.json').format(split)
            else:
                self.annot_path = os.path.join(
                    self.data_dir, 'annotations',
                    'train.json').format(split) # 这才是train文件

     要把第一行if split 改为 ==‘val’,这样validate时就会调用val.json文件。把最后一行要调用的文件改为‘train.json’,这样训练的时候才会调用train.json文件。改完之后数据集导入就正常了。
     2. 运行main.py

python main.py ctdet --exp_id coco_dla --batch_size 32 --master_batch 1 --lr 1.25e-4  --gpus 0,1
(如果显示显存不够之类的那种错误,需要在opts.py文件中将--num_workers改成0,batch_size改成16或者更小

   

     这时候会下载一个预训练模型,可能会很慢,我是。。下载的,这是百度盘链接,需要的可以用:

    链接:https://pan.baidu.com/s/1I1oW_l2Xe2-LV1gIjViPTg 
    提取码:2pt0 

     下载完之后放在/root/.torch/models里面

(我的是在这个里,你也可以看看他自动下载的那个在哪个文件夹里,然后把权重放在那个文件夹下)

    没有意外的话,经过上面的步骤,就开始训练了::::

5. 测试部分

     当训练完之后(我训练了两天,泰坦X,140个epochs,有点憨批,其实最好的模型是在第55个epoch出现的),在./exp/ctdet/coco_dla/文件夹下会出现如下文件

     其中,model_last是最后一次epoch的模型;model_best是val最好的模型,我选的是model_best模型;

然后开始测试。。。。。。

   1. 在我们之前建立的ped.py中修改如下部分,加入if split == ‘test’:…,作用是当test时指定标签文件为之前建立的测试文件       test.json

   2. 运行test.py

       python test.py --exp_id coco_dla --not_prefetch_test ctdet --load_model /root/CenterNet/exp/ctdet/coco_dla/model_best.pth

   不出意外的话会出现下面的画面(出现一系列AP值),其中,一般使用的是第二行,也就是IOU=0.5,全区域的AP值,其他的分别是不同IOU以及不同目标尺寸区域的结果。

  完事了。。。

2019.9.6

附加1:

我想换个骨干网络试试,作者的源代码支持resnet和hourglass,我尝试替换成resnet18,记录一下替换方法:

在原来的训练命令行命令里添加上两个参数:(顺便把exp_id 改一下,保证每个模型不乱)

python main.py ctdet --exp_id coco_res_18 --batch_size 32 --master_batch 1 --lr 1.25e-4  --gpus 0,1 --arch res_18 --head_conv 64

开始训练时也会下载相应的预训练模型,如果下载速度慢,也参照上面说的方法下载。

训练之后,在测试和运行demo的命令行代码里也要加上两个参数:--arch res_18 --head_conv 64

附加2:

训练完成的时候,我们需要绘制出loss值得曲线,以下代码可以实现该功能:

训练生成的日志文件一般在exp/ctdet/../../logs.txt,找到这个文件,打开之后会出现如下:

我们需要读取这些loss值并可视化(一般情况下,该代码只需要改变日志文件的路径即可):

import matplotlib.pyplot as plt
import numpy as np


def plot_loss_curve(log_file):

    loss_data = open(log_file)
    all_lines = loss_data.readlines()
    print(all_lines[4].split(' '))
    # losses
    total_loss = []          # 4
    hm_loss = []             # 7
    wh_loss = []             # 10
    off_loss = []            # 13
    val_loss = []            # 19
    spend_time = []          # 16
    num_lines = len(all_lines)
    for line in range(num_lines):
        total_loss1 = all_lines[line].split(' ')[4]
        hm_loss1 = all_lines[line].split(' ')[7]
        wh_loss1 = all_lines[line].split(' ')[10]
        off_loss1 = all_lines[line].split(' ')[13]
        spend_time1 = all_lines[line].split(' ')[16]

        total_loss.append(float(total_loss1))
        hm_loss.append(float(hm_loss1))
        wh_loss.append(float(wh_loss1))
        off_loss.append(float(off_loss1))
        spend_time.append(float(spend_time1))

    index_val = np.linspace(0, 140, 29) - 1
    index_val = np.delete(index_val, 0, 0)

    for id in index_val:

        val_loss1 = all_lines[int(id)].split(' ')[19]
        val_loss.append(float(val_loss1))
    return val_loss, total_loss


if __name__ == '__main__':
    # 标准图形绘制
    # sns.set()
    vloss_res18, loss_res18 = plot_loss_curve('logres18.txt')              # 读取训练时生成的日志文件
    # vloss_resdcn18, loss_resdcn18 = plot_loss_curve('logresdcn18.txt')
    # vloss_dla, loss_dla = plot_loss_curve('logdla34.txt')
    # vloss_res101, loss_res101 = plot_loss_curve('logres101.txt')
    # vloss_dla34p, loss_dla34p = plot_loss_curve('logdla34p.txt')
    # vloss_hg, loss_hg = plot_loss_curve('loghourglass.txt')
    
    fig = plt.figure(figsize=(10, 4))
    ax = fig.add_subplot(111)
    ax.plot(range(len(loss_res18)), loss_res18, 'c', label='res_18_train_loss', linewidth=1)         # 这个label是图线自己的标签;
    # ax.plot(range(len(loss_resdcn18)), loss_resdcn18, 'y', label='resdcn_18_train_loss', linewidth=1)
    # ax.plot(range(len(loss_dla)), loss_dla, 'b', label='dla_34_train_loss', linewidth=1)
    # ax.plot(range(len(loss_res101)), loss_res101, 'g', label='res_101_train_loss', linewidth=1)
    # ax.plot(range(len(loss_dla34p)), loss_dla34p, 'r', label='dla_34_train_loss', linewidth=1)
    # ax.plot(range(len(loss_hg)), loss_hg, 'r', label='hourglass_train_loss', linewidth=1)

    # ax.plot(index_val+1, val_loss, label='val_loss')
    # ax.plot(np.random.randn(1000).cumsum(), label='line2')
    # ax.set_xlim([0, 800])                                      # 设置刻度;
    # ax.set_xticks(range(0, 500, 100))                          # 设置显示的刻度;
    # ax.set_yticklabels(['jan', 'feb', 'mar'])                  # 设置刻度标签;
    ax.set_xlabel('epochs')                                    # 设置坐标轴标签;
    ax.set_ylabel('loss_value')
    # ax.text(8750, 20, "海拔", color='red')                     # 加入文本
    ax.set_title('loss_of_CenterNet')
    ax.legend(loc='best')                                      # 将图例摆放在不遮挡图线的位置即可
    ax.grid()                                                  # 添加网格
    plt.savefig('loss_of_CenterNet.png')                                    # 保存文件到指定文件夹
    plt.show()

    fig1 = plt.figure(figsize=(12, 8))
    ax1 = fig1.add_subplot(111)
    ax1.plot(range(len(vloss_res18)), vloss_res18, 'c', label='res_18_val_loss', linewidth=2)         # 这个label是图线自己的标签;
    # ax1.plot(range(len(vloss_resdcn18)), vloss_resdcn18, 'y', label='resdcn_18_val_loss', linewidth=2)
    # ax1.plot(range(len(vloss_dla)), vloss_dla, 'b', label='dla_34_val_loss', linewidth=2)
    # ax1.plot(range(len(vloss_res101)), vloss_res101, 'g', label='res_101_val_loss', linewidth=2)
    # ax1.plot(range(len(vloss_dla34p)), vloss_dla34p, 'r', label='dla_34_val_loss_p', linewidth=2)
    # ax.plot(index_val+1, val_loss, label='val_loss')
    # ax.plot(np.random.randn(1000).cumsum(), label='line2')
    # ax.set_xlim([0, 800])                                      # 设置刻度;
    # ax.set_xticks(range(0, 500, 100))                          # 设置显示的刻度;
    # ax.set_yticklabels(['jan', 'feb', 'mar'])                  # 设置刻度标签;
    ax1.set_xlabel('epochs')                                    # 设置坐标轴标签;
    ax1.set_ylabel('loss_value')
    # ax.text(8750, 20, "海拔", color='red')                     # 加入文本
    ax1.set_title('val_loss_of_CenterNet')
    ax1.legend(loc='best')                                      # 将图例摆放在不遮挡图线的位置即可
    ax1.grid()                                                  # 添加网格
    plt.savefig('val_loss_of_CenterNet.png')                                    # 保存文件到指定文件夹
    plt.show()

 

  • 79
    点赞
  • 400
    收藏
    觉得还不错? 一键收藏
  • 284
    评论
要安装PyTorch 0.4.1,你可以按照以下步骤进行操作: 1. 首先确保你已经安装了Python。PyTorch需要Python 3.5 或更高版本。你可以在命令行中输入 `python --version` 来检查你当前的Python版本。 2. 接下来,确定你是否已经安装了合适的CUDA版本(如果你计划在GPU上运行PyTorch)。PyTorch 0.4.1 需要 CUDA 8.0 或更高版本。 3. 访问PyTorch的官方网站(https://pytorch.org/get-started/previous-versions/)并选择适合你系统的安装选项。在这个页面上,你可以找到特定操作系统和Python版本的安装命令。 4. 根据你的系统和Python版本,在命令行中运行相应的安装命令。下面是一些示例命令: - 通过pip安装(如果你的系统上没有CUDA): ``` pip install torch==0.4.1 ``` - 通过conda安装(如果你使用Anaconda环境): ``` conda install pytorch=0.4.1 torchvision -c pytorch ``` - 如果你的系统支持CUDA并且你想要在GPU上运行,可以使用特定的CUDA版本。例如,使用下面的命令安装 CUDA 9.0 版本: ``` conda install pytorch=0.4.1 torchvision cudatoolkit=9.0 -c pytorch ``` 5. 等待安装过程完成。一旦安装成功,你就可以通过导入PyTorch库来验证安装是否成功。在Python中运行以下代码进行验证: ```python import torch print(torch.__version__) ``` 如果输出显示为0.4.1,则表示PyTorch 0.4.1已成功安装在你的系统上。 希望这能帮助你成功安装PyTorch 0.4.1!如果你有任何其他问题,请随时问我。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 284
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值