百度AI达人创造营第二课

一、数据集的获取

1.1 Kaggle比较有趣的数据集

(1)House Prices-Advanced Regression Techniques     
预测销售价格

(2)Cat and Dog                        
猫狗分类

(3)Machine Learning from Disaster     
预测泰坦尼克号的生存情况并熟悉机器学习基础知识

---

1.2 天池

(1)Barley Remote Sensing Dataset大麦遥感检测数据集    
遥感影像分割

(2)耶鲁人脸数据库                  
目标检测任务(人脸检测)

---

1.3 DataFountain

(1)花卉分类数据集                      
图像分类

---

1.4 其他常用的数据集官网

(1)科大讯飞官网

(2)COCO数据集

---

1.5 完整流程概述

1.5.1 图像处理完整流程

(1) 图片数据获取
(2) 图片数据清洗
(3) 图片数据标注
(4) 图片数据预处理data preprocessing。
(5) 图片数据准备data preparation(训练+测试阶段)
(6) 图片数据增强data augjmentation（训练阶段 ）

1.5.2 数据预处理与特征工程

(1) 感知数据
(2) 数据清理
(3) 特征变换
(4) 特征选择
(5) 特征抽取

---

二、常见标注工具

对于图像分类任务，我们只要将对应的图片是哪个类别划分好即可。对于检测任务和分割任务，目前比较流行的数据标注工具是labelimg、labelme，分别用于检测任务与分割任务的标注。
标注工具Github地址：
labelimg
labelme
PPOCRLabel

---

三、数据处理方法

3.1 图像的本质

我们常见的图片其实分为两种，一种叫位图，另一种叫做矢量图。如下图所示： 
位图的特点:
由像素点定义一放大会糊
文件体积较大
色彩表现丰富逼真

矢量图的特点:
超矢量定义
放太不模糊
文件体积较小
表现力差

---

3.2 为什么要做这些数据增强

是因为很多深度学习的模型复杂度太高了，且在数据量少的情况下，比较容易造成过拟合(通俗来说就是训练的这个模型它太沉浸在这个训练样本当中的一些特质上面了)，表现为的这个模型呢受到了很多无关因素的影响。 所得出的结果就是在没有看到过的样本上对它做出预测呢就表现的不太好。

四、模型训练与评估

在机器学习领域中，用于评价一个模型的性能有多种指标，其中几项就是FP、FN、TP、TN、精确率(Precision)、召回率(Recall)、准确率(Accuracy)。