百度飞桨第二课|数据集的获取途径和数据处理的技巧

本次课程主要介绍了数据集获取，以及数据标注、数据划分、数据增强处理方法和简单的口罩检测实现，及其用数据增强和不用数据增强的对比实验，体现了数据增强在AI学习中的重要性。

目录

一、数据集的获取

获取途径

数据预处理

1.感知数据

2.数据清理

3.特征变换

4.特征选择

5.特征抽取

二、数据处理

官方数据格式

自定义数据集进行训练

标注（常见标注工具）

制作VOC格式与COCO格式数据集并划分

三、数据处理方法（以图片处理为例）

图像的本质

为什么要做数据增强

四、模型训练与评估

比对实验  

---

一、数据集的获取

获取途径

• 百度AI Studio
• Kaggle
• 天池
• 科大讯飞官网
• COCO数据集

数据预处理

• 1.感知数据

  ----初步了解数据

  ----记录和特征的数量特征的名称

  ----抽样了解记录中的数值特点描述性统计结果

  ----特征类型

  ----与相关知识领域数据结合，特征融合

• 2.数据清理

  ----转换数据类型

  ----处理缺失数据

  ----处理离群数据

• 3.特征变换

  ----特征数值化

  ----特征二值化

  ----OneHot编码

  ----特征离散化特征

  ----规范化

    区间变换

    标准化

    归一化

• 4.特征选择

  ----封装器法

    循序特征选择

    穷举特征选择

    递归特征选择

  ----过滤器法

  ----嵌入法

• 5.特征抽取