2021-07-28 AI达人创造营第二课笔记

一、数据集的获取

数据集获取途径

1. Kaggle
2. 天池
3. DataFountain
4. 科大讯飞
5. COCO
6. 百度AI Studio

数据处理完整流程

图像处理完整流程

1. 数据获取
2. 数据清洗
3. 数据标注
4. 图片数据预处理
   标准化、中心化、归一化
5. 图片数据准备
   划分训练集、数据集和测试集
6. 图片数据增强
   cv常见的数据增强：

CV数据增强
随机旋转
缩放
剪裁
平移
调整亮度、对比度、饱和度、色差等等
注入噪声
基于生成对抗网络GAN做数搪增强AutoAugument等

纯数据处理完整流程

• 感知数据
• 数据清理
• 特征变换
• 特征选择
• 特征抽取

二、数据处理

• 官方数据处理成VOC或者COCO
  VOC与COCO简介
  -1. Pascal 的全称是模式分析，静态建模和计算学习(Pattern Analysis, Statical Modeling and Computational Learning)。PASCAL VOC 挑战赛是视觉对象的分类识别和检测的一个基准测试，提供了检测算法和学习性能的标准图像注释数据集和标准的评估系统。从2005年至今，该组织每年都会提供一系列类别的、带标签的图片，挑战者通过设计各种精妙的算法，仅根据分析图片内容来将其分类，最终通过准确率、召回率、效率
  -2. MS COCO的全称是Microsoft Common Objects in Context，起源于微软于2014年出资标注的Microsoft COCO数据集，与ImageNet竞赛一样，被视为是计算机视觉领域最受关注和最权威的比赛之一。
• 自定义数据集进行训练
  1.标注工具介绍

常见的标注工具
labelimg
labelme
PPOCRLabel

2. 制作VOC格式与COCO格式数据集并划分

三、数据处理方法

• 图像的本质

1. 位图

位图的特点
由像素点定义一放大会糊
文件体积较大
色彩表现丰富逼真

2. 矢量图

矢量图的特点
超矢量定义
放大不模糊
文件体积较小
表现力差

四、模型训练与评估

1. map介绍
   - 在机器学习领域中，用于评价一个模型的性能有多种指标，其中几项就是FP、FN、TP、TN、精确率(Precision)、召回率(Recall)、准确率(Accuracy)。-
   - mean Average Precision, 即各类别AP的平均值，是AP：PR 曲线下面积。
   - mAP值即为，PR曲线下的面积

五、模型推理预测

使用模型进行预测，同时使用pdx.det.visualize将结果可视化，可视化结果将保存到work/PaddleDetection/output/PPYOLO/vdl_log下,载入模型推理保存图片至work/PaddleDetection/output/PPYOLO/img下。