物体的识别，检测，和分割

物体的识别，检测，和分割

1：物体检测

• 输入图像 -> 特征 -> 分类器 -> 物体类别

  • 我们生成图片的时候，他的大小，长宽比都是不一样的，有些还是躺着的
  • 我们可以生成很多的框框，但是这些框框绝大多数可能都是背景，此时我们可以做一个二分类
  • 二分类的问题：类间不够紧凑（天空，草地，大海），类和类之间差别不大
  • 解决这个问题，我们使用似物性估计，我们可以不使用框框，直接来做
  • **ECCV 2014 Edge Boxes: Locating Object Proposals from Edges **，我们物体都是有边界的，有一个边界组成的，但是大海，天空可能边界不是那么的明朗或者说就没有边界
  • https://link.springer.com/content/pdf/10.1007/978-3-319-10602-1_26.pdf
  • 我们采用边缘检测的技术，找到各个物体的边缘，从而能够对有效的物体进行框起来
  • 两个像素点，如果差值越大，那么说明这两点的内容发生了很大的变化，那么就不属于同一个物体
  • 数字图像处理:边缘检测(Edge detection)：https://zhuanlan.zhihu.com/p/59640437
  • 滤波：提取图像特征，简化信息；适应图像处理的需求，通过滤波消除图像数字化时所混入的噪声
  • 滤波器从上到下，从左到右的遍历，
• • (其中 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y4EQcx8k-1621872413398)(https://www.zhihu.com/equation?tex=R_%7B5%7D)] 表示当前像素点， [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iTieLfk1-1621872413410)(https://www.zhihu.com/equation?tex=R_%7Bi%7DG_%7Bi%7D)] 表示当前像素与滤波器对应值相乘的值，n为滤波器大小，举例来说如若此滤波器值全为1，则此公式计算的是当前像素点的8连通像素点的平均值，因此滤波完后的图像应表现为模糊的效果，模糊程度取决于滤波器的大小，滤波器大小(size)越大，模糊效果越明显)
  • 边缘检测算子
    • Sobel
    • Prewitt
    • Roberts

• 物体检测

  • 目标：找到图像中的已经直到类别的物体，属于CV中的图像理解
  • 图像处理，图像分析，图像理解：三个大的方向
  • 输入：一张图片
  • 输出：一个或者是多个物体（包含类别和边界框）
  • 挑战：物体定位和物体识别，识别出来并且把他框出来
  • 两阶段的
    • 先从图像中选出若干个可能是物体的框框，然后再对这些框框做分类
    • RCNN；Fast RCNN；Faster RCNN
    • RCNN 是把selective search 和AlexNet 两项工作合起来了，有的人觉得没技术含量
    • 但是有时候把两项不那么相关的技术合起来，并且还有很好的效果，这就是一种创新
  • 单阶段的
    • 不需要预先检测出框框，直接由图像生成最后的结果
    • You Only Look Once
    • https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Redmon_You_Only_Look_CVPR_2016_paper.pdf
    • 关键技术
      • 在原图中划分为S X S的网格，如果一个目标的中心落入某个格子，这个格子就负责检测该目标
      • 每个网格要预测 B 个bound ing boxes，以及C 个类别概率，每个bounding box预测五个变量
      • 全连接层输出reshape成 SXSX(5*B+C)的多维矩阵，通过NMS得到输出框框
    • YOLO V3 放飞自我，写的和博客一样
    • https://arxiv.org/pdf/1804.02767.pdf
    • YOLO V3之后，原作者就不写了，4和5都不是原作者写的，所以5不一定比4好
  • 细粒度物体识别
    • 目标：对物体类别进行更加细致的分类
    • 输入：一张鸟
    • 输出：哪一个类别的物体
    • Fine Grained Recognition without Part Annotations
    • 需要学习到鸟类的领域知识