百度飞浆第二课

百度飞浆第二课知识点

本节课主要内容： 数据集的获取途径和数据处理的技巧，课程内容包含项目数据集获取的方法、数据集标注方法、数据集处理方法、数据增强方法等实用技巧。

图像处理完整流程

图片数据获取
图片数据清洗
  ----初步了解数据，筛选掉不合适的图片

图片数据标注
图片数据预处理data preprocessing。
  ----标准化 standardlization

一 中心化 = 去均值 mean normallization

一 将各个维度中心化到0

一 目的是加快收敛速度,在某些激活函数上表现更好

一 归一化 = 除以标准差

一 将各个维度的方差标准化处于[-1,1]之间

一 目的是提高收敛效率,统一不同输入范围的数据对于模型学习的影响,映射到激活函数有效梯度的值域

图片数据准备data preparation(训练+测试阶段)
  ----划分训练集，验证集，以及测试集

图片数据增强data augjmentation（训练阶段 ）
  ----CV常见的数据增强

· 随机旋转

· 随机水平或者重直翻转

· 缩放

· 剪裁

· 平移

· 调整亮度、对比度、饱和度、色差等等

· 注入噪声

· 基于生成对抗网络GAN做数搪增强AutoAugment等

纯数据处理完整流程

数据预处理与特征工程

1.感知数据

----初步了解数据

----记录和特征的数量特征的名称

----抽样了解记录中的数值特点描述性统计结果

----特征类型

----与相关知识领域数据结合，特征融合

2.数据清理
  ----转换数据类型

----处理缺失数据

----处理离群数据

3.特征变换
  ----特征数值化

----特征二值化

----OneHot编码

----特征离散化特征

----规范化

区间变换

标准化

归一化

4.特征选择
  ----封装器法

循序特征选择

穷举特征选择

递归特征选择

----过滤器法

----嵌入法

5.特征抽取
  ----无监督特征抽取

主成分分析

因子分析

----有监督特征抽取

图像的本质

常见的图片其实分为两种，一种叫位图，另一种叫做矢量图。
位图的特点:

由像素点定义一放大会糊

文件体积较大

色彩表现丰富逼真
矢量图的特点:

超矢量定义

放太不模糊

文件体积较小

表现力差