计算机视觉
计算机视觉是使计算机能理解采集设备采集的图像视频的一门学科,目的是让计算机实现人的视觉功能——对客观世界的三维场景的感知、识别和理解。换句话说,要让计算机具备通过二维图像认识三维环境的能力。
三个阶段
计算机视觉研究图像包括图像处理、图像分析、图像理解三个阶段。
视觉层级
计算机视觉可以划分为初级视觉、中级视觉、高级视觉三个层级:
初级视觉 | 图像修复、超分辨率重建 |
中级视觉 | 图像分割、物体检测 |
高级视觉 | 图像描述、动作识别 |
基本任务
计算机视觉包括四项基本任务:分类、定位、检测和分割。
- 分类:解决“图像是什么”的问题,即给定一张图或一段视频,判断图片或视频所属的类别
- 定位:解决“目标在哪里”的问题,即判断图像中的目标具体在图像的什么位置,位置通常以包围盒的形式表示,通常面向单一或给定数目的目标。
- 检测:解决“哪里有哪些哪种类别的目标”的问题,即发现图片中的目标并判断目标种类,检测任务面向的图像中出现的目标种类和数目都不定。
- 分割:解决“每个像素属于哪个目标/场景”的问题,分为。检测只需要框出每个目标的包围盒,分割则需要进一步判断图像中哪些像素属于哪个目标。分割包括语义分割、实例分割和全景分割,语义分割不区分属于相同类别的不同实例,实例分割则需要区分出哪些像素属于相同类别的不同实例。全景分割可以认为是实例分割和语义分割的结合。
技术难点
难点 | 示例 |
平面内旋状 | 物品正放、倒放、侧放的检测 |
超平面旋转 | 肢体等三维动作的检测 |
背景干扰 | 复杂场景下的目标检测 |
光照变化 | 图片过曝或图片过暗 |