基于深度学习 利用目标检测的方法定位瑕疵位置

利用目标检测的方法定位瑕疵位置

通过语义分割的方法分割瑕疵（使用传统方法，如二值化等方法分割亦可）

图像分类的方法判断类别

问题：

检测手机屏幕表面的瑕疵，在图中画出瑕疵位置并标明瑕疵种类。

Screen task

该数据集包含100张手机屏幕图片。

手机屏幕缺陷分成四类：气泡、针孔、锡灰、划痕

大致思路如下：

1.数据预处理，将不同种类的图片分割成指定大小，建立模型训练数据集。

（转为VOC或者COCO格式）安装了roLabelImg标注工具。

dataset下面的xml数据转化为pkl文件

 2.训练自己的分类器（YOLD,SSD模型）

输入图片通过模型来得到指定区域的特征向量，如果该向量和底库中A类型缺陷的某个向量相乘，如果大于指定的阈值，模型就认为这个区域就是A类型

通用目标检测框架基本分为三步：

1. 首先，需要产生目标可能存在的感兴趣区域（Region of Interest，ROI）。因为一张图片中含有大量背景信息，一个可行的方法是先产生目标可能存在的大致区域，再对这些感兴趣区域进行微调。
2. 对感兴趣区域提取特征，用于后续的分类及回归
3. 在完成前两步后，我们会得到一系列包含目标的bounding box，但这些boxes有大量重合，所以需要对其进行筛选重组，如非极大值抑制（思想是将预测出的boxes数量减少到图片中真实目标的数目），使得每个目标由单一box框定

Fast-RCNN过程：

R-CNN的目标检测流程： 
a) 输入图像，预训练CNN网络

b)用selective search预选出2000个候选框
c) 一整张图都输入到CNN模型中，提取到图片的整张feature map

d)通过坐标投影的办法，把候选区域映射到上一步的cnn模型中提取到的feature map，得到输入图像中的候选框对应的特征区域（卷积复用）

e)此时候选框的size不同，使用ROI pooling降采样使得候选框的特征区域size相同

f)将候选框的特征区域连接FC层，FC层分别与softmax分类器和bounding max分类器相连

g)得到类别及包围框，根据非极大值抑制得到最终结果

 

高斯灰度模型：

        1.去噪

        2.通过检测物的形状轮廓来判断它是什么种类

图像识别四大分类任务：

1.分类

2.定位

3.检测

4.分割。实例分割和场景分割