PaddleClas学习2——使用PPLCNet模型对车辆朝向进行识别（python）

1. 配置PaddlePaddle，PaddleClas环境

安装：请先参考文档 环境准备 配置 PaddleClas 运行环境。

2. 准备数据

首先从VeRi数据集官网中申请并下载数据。

2.1 标注数据格式

参考：基于PP-Vehicle的交通监控分析系统
VeRi数据集标注了车辆的10种属性，其中10种车辆颜色，9种车型属性，具体如下：

# 车辆颜色
- "yellow"
- "orange"
- "green"
- "gray"
- "red"
- "blue"
- "white"
- "golden"
- "brown"
- "black"
# 车型
- "sedan"
- "suv"
- "van"
- "hatchback"
- "mpv"
- "pickup"
- "bus"
- "truck"
- "estate"

在标注文件中使用长度为19的序列来表示上述属性。
举例：
[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0]

前10位中，位序号0的值为1，表示车辆颜色为"yellow"。

后9位中，位序号11的值为1，表示车型为"suv"。
现在定义一种新的属性车辆朝向，包含forward、sideward、backward三个属性，因此要在上述19位标志的后面增加3位分别对应上面的3个方向。
新的属性定义变成了[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1].(括号内为新增属性位，最后一位为1，表示朝向为backward)

2.2 标注数据

（1）创建list_direction.txt，添加内容：

1 forward
2 sideward
3 backward

（2）修改train_label.xml、test_label.xml，添加directionID字段，如下：

其中directionID为1表示车头朝前，2表示车辆水平，3表示车头朝后

（3）转换label，生成train_list.txt
可以在python终端中执行下面的命令，也可以将其写入一个文件，然后使用python convert.py的方式运行该文件。

import os
from xml.dom.minidom import parse

vehicleids = []

def convert_annotation(input_fp, output_fp, subdir):
    in_file = open(input_fp)
    list_file = open(output_fp, 'w')
    tree = parse(in_file)

    root = tree.documentElement

    for item in root.getElementsByTagName("Item"):  
        label = ['0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0', '0']
        if item.hasAttribute("imageName"):
            name = item.getAttribute("imageName")
        if item.hasAttribute("vehicleID"):
            vehicleid = item.getAttribute("vehicleID")
            if vehicleid not in vehicleids :
                vehicleids.append(vehicleid)
            vid = vehicleids.index(vehicleid)
        if item.hasAttribute("colorID"):
            colorid = int (item.getAttribute("colorID"))
            label[colorid-1] = '1'
        if item.hasAttribute("typeID"):
            typeid = int (item.getAttribute("typeID"))
            label[typeid+9] = '1'
        if item.hasAttribute("directionID"):
            typeid = int (item.getAttribute("directionID"))
            label[typeid+18] = '1'
        label = ','.join(label)
        list_file.write(os.path.join(subdir, name)  + "\t" + label + "\n")

    list_file.close()

convert_annotation('train_label.xml', 'train_list.txt', 'image_train')  #imagename vehiclenum colorid typeid
convert_annotation('test_label.xml', 'test_list.txt', 'image_test')

执行上述命令后，VeRi目录中具有以下数据：

VeRi
├── image_train
│   ├── 0001_c001_00016450_0.jpg
│   ├── 0001_c001_00016460_0.jpg
│   ├── 0001_c001_00016470_0.jpg
...
├── image_test
│   ├── 0002_c002_00030600_0.jpg
│   ├── 0002_c002_00030605_1.jpg
│   ├── 0002_c002_00030615_1.jpg
...
...
├── train_list.txt
├── test_list.txt
├── train_label.xml
├── test_label.xml

其中train/和test/分别为训练集和验证集。train_list.txt和test_list.txt分别为训练集和验证集的转换后用于训练的标签文件。

3. 模型训练

官网： PULC 车辆属性识别模型
标注好的数据，放在PaddleClas的dataset目录下，数据集目录名为VeRi。

3.1 修改配置文件

ppcls/configs/PULC/vehicle_attribute/PPLCNet_x1_0.yaml
（1）训练属性种类

修改Arch下的class_num为22，对应上面最终属性总位数。

Arch:
  name: "PPLCNet_x1_0"
  pretrained: True
  use_ssld: True
  class_num: 22           #属性种类数量

（2）训练数据路径

修改DataLoader中Train、Eval下的 image_root和cls_label_path。分别表示训练数据跟路径和标注文件路径。

需要注意的是标注文件train_list.txt中的图片路径是相对于image_root目录的相对路径。

DataLoader:
  Train:
    dataset:
      name: MultiLabelDataset
      image_root: "dataset/VeRi/"                     # the root path of training images
      cls_label_path: "dataset/VeRi/train_list.txt"   # the location of the training list file
      label_ratio: True
      transform_ops:
        ...
  Eval:
    dataset:
      name: MultiLabelDataset
      image_root: "dataset/VeRi/"                     # the root path of evaluation images
      cls_label_path: "dataset/VeRi/val_list.txt"     # the location of the evaluation list file
      label_ratio: True
      transform_ops:
         ...

3.2 训练、评估

上述准备工作完成后，可以执行以下命令进行训练：

python tools/train.py -c ./ppcls/configs/PULC/vehicle_attribute/PPLCNet_x1_0.yaml

训练完成后可以执行以下命令进行性能评估：

python tools/eval.py -c ./ppcls/configs/PULC/vehicle_attribute/PPLCNet_x1_0.yaml \
        -o Global.pretrained_model=./output/PPLCNet_x1_0/best_model

3.3 模型导出

python3 tools/export_model.py \
    -c ./ppcls/configs/PULC/vehicle_attribute/PPLCNet_x1_0.yaml \
    -o Global.pretrained_model=output/PPLCNet_x1_0/best_model \
    -o Global.save_inference_dir=deploy/models/PPLCNet_x1_0_vehicle_attribute_model

4 模型预测

修改后处理文件ppcls\data\postprocess\attr_rec.py

class VehicleAttribute(object):
    def __init__(self, color_threshold=0.5, type_threshold=0.5, direction_threshold=0.5):
        self.color_threshold = color_threshold
        self.type_threshold = type_threshold
        self.direction_threshold = direction_threshold
        self.color_list = [
            "yellow", "orange", "green", "gray", "red", "blue", "white",
            "golden", "brown", "black"
        ]
        self.type_list = [
            "sedan", "suv", "van", "hatchback", "mpv", "pickup", "bus",
            "truck", "estate"
        ]
        self.direction_list = [
            "forward", "sideward", "backward"]

    def __call__(self, x, file_names=None):
        ......
        for idx, res in enumerate(x):
            res = res.tolist()
            label_res = []
            color_idx = np.argmax(res[:10])
            type_idx = np.argmax(res[10:19])
            direction_idx = np.argmax(res[19:])

            print(color_idx, type_idx)
            if res[color_idx] >= self.color_threshold:
                color_info = f"Color: ({self.color_list[color_idx]}, prob: {res[color_idx]})"
            else:
                color_info = "Color unknown"

            if res[type_idx + 10] >= self.type_threshold:
                type_info = f"Type: ({self.type_list[type_idx]}, prob: {res[type_idx + 10]})"
            else:
                type_info = "Type unknown"
            
            if res[direction_idx + 19] >= self.direction_threshold:
                direction_info = f"Direction: ({self.direction_list[direction_idx]}, prob: {res[direction_idx + 19]})"
            else:
                direction_info = "Direction unknown"
            label_res = f"{color_info}, {type_info}, {direction_info}"

            threshold_list = [self.color_threshold
                              ] * 10 + [self.type_threshold] * 9 + [self.direction_threshold] * 3
            pred_res = (np.array(res) > np.array(threshold_list)
                        ).astype(np.int8).tolist()
            batch_res.append({
                "attr": label_res,
                "pred": pred_res,
                "file_name": file_names[idx]
            })
        return batch_res

执行以下命令进行预测：

python tools/infer.py -c ./ppcls/configs/PULC/vehicle_attribute/PPLCNet_x1_0.yaml -o Global.pretrained_model=output/PPLCNet_x1_0/best_model

输出结果如下：

[{'attr': 
'Color: (yellow, prob: 0.9991264939308167), 
Type: (hatchback, prob: 0.99992835521698), 
Direction: (backward, prob: 0.9999992847442627)', 
'pred': [1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1], 'file_name': './deploy/images/PULC/vehicle_attribute/0002_c002_00030670_0.jpg'}]