MMDet3d样本均衡

MMDet3d样本均衡

CBGSDataset

**CBGS （Class-balanced Grouping and Sampling）**中的样本均衡策略

CBGS : 三维点云物体检测的类平衡分组和采样（新自动驾驶数据集nScenes第一名算法）

两种策略解决样本不均衡问题：

一、DS Sampling　（作者提出）

基本思想是把占比较小的类别进行复制，制作出较大数据集，然后针对每个类别用固定比例random sample这个大的数据集，组合出最终数据集，最终数据集的类别密度（类别数量／样本总数）是相近的，这方法可以减缓样本不平均问题。

二、GT-AUG　（SECOND引用）

把某一样本中的物体点云数据，放到另一个样本中，过程中需要计算摆放位置是否合理。（详见原文）

训练时数据是200帧，后面处理时，dataloader中数据变成了460帧，怎么均衡的？

mmdet3d中存储帧数据使用了class CBGSDataset做的样本均衡

FAWLiDARDataset是200帧，包装到 CBGSDataset 是460帧，设置的batch_size = 4 ，因此迭代次数为 $\frac{460}{4}=115$，训练20轮，总共 $ 20 * 115 = 2300$ 次训练

具体得到 CBGSDataset 类里面看（/home/qiancj/anaconda3/envs/mmdet3d_env_py38/lib/python3.8/site-packages/mmengine/dataset/dataset_wrapper.py）：

具体函数调用为：__init__ —> self.full_init() —> self.sample_indices = self._get_sample_indices(self.dataset)

其中，_get_sample_indices(self.dataset) 具体实现为：

    def _get_sample_indices(self, dataset: BaseDataset) -> List[int]:
        """Load sample indices according to ann_file.

        Args:
            dataset (:obj:`BaseDataset`): The dataset.

        Returns:
            List[dict]: List of indices after class sampling.
        """
        # 获取障碍物类别：['car', 'truck', 'motorcycle', 'pedestr', 'Traffic_cone']
        classes = self.metainfo['classes'] 
        # 建立 种类-id 字典：{'car': 0, 'truck': 1, 'motorcycle': 2, 'pedestr': 3, 'Traffic_cone': 4}
        cat2id = {name: i for i, name in enumerate(classes)}
        # 每个建立字典 cat_id:[], 每个id对应一个list
        class_sample_idxs = {cat_id: [] for cat_id in cat2id.values()}
        
        # 遍历 dataset 中每一帧
        for idx in range(len(dataset)):
            # 获取每一帧内包含的种类 id。如第0帧有car 和 truck, 获取到的sample_cat_ids 为{0，1}
            sample_cat_ids = dataset.get_cat_ids(idx)
            # 当前帧包含目标障碍物，则将帧号存入class_sample_idxs中
            # class_sample_idxs 存储每个 类别id 所在的帧号列表 
            for cat_id in sample_cat_ids:
                if cat_id != -1:
                    # Filter categories that do not need to be cared.
                    # -1 indicates dontcare in MMDet3D.
                    class_sample_idxs[cat_id].append(idx)
        # 每个类别id 所在帧的总数
        duplicated_samples = sum(
            [len(v) for _, v in class_sample_idxs.items()])
        # 每个类别id 对应帧数占总帧数的比例
        class_distribution = {
            k: len(v) / duplicated_samples
            for k, v in class_sample_idxs.items()
        }
        
        # 样本帧序号
        sample_indices = []
       # 每个类别占总类别的比例，此处0.2
        frac = 1.0 / len(classes)
        # frac/每个类别所占帧数，帧数少的该值会变大
        ratios = [frac / v for v in class_distribution.values()]
        # 从每个类所在的帧里class_sample_idxs.values()，抽取int(len(cls_inds) *ratio) 帧
        for cls_inds, ratio in zip(list(class_sample_idxs.values()), ratios):
            sample_indices += np.random.choice(cls_inds,
                                               int(len(cls_inds) *
                                                   ratio)).tolist()
        return sample_indices

从代码可以看出来，先计算每个类别所存在的总帧数，然后计算每个类别占总帧数的比例，然后对每个类别所在的帧数进行随机抽帧，保证每个类别的抽帧数一致，也就是抽帧后每个类别所在的帧数是相同的，保证了样本的均衡性。

所以如果某个类别只存在3帧，为了达到和其他类别帧数匹配，就会在最终样本中复制多份这3帧数据，以实现样本均衡。

思考

抽帧数计算

这里计算感觉逻辑有点乱，又是计算 frac,ratios，又是计算抽帧数，不足抽帧数的就复制已有的帧。

手动推导了一遍公式，最终抽帧数可以简化为
$$\begin{gathered} 抽帧数=\frac{总帧数}{类别数量} \\ =\frac{duplicated\_samples}{len(classes)} \end{gathered}$$

某个类别帧数为0

如果样本数比较少，有的类别帧数为0，即所有帧中都不包含该障碍物，当计算ratios时除数会为0

ratios = [frac / v for v in class_distribution.values()]

Reference

CBGS : 三维点云物体检测的类平衡分组和采样（新自动驾驶数据集nScenes第一名算法）

欢迎关注公众号【三戒纪元】