计算机视觉知识框架

1 三个层次

1.1系统工程方案层：
WEB图像结构化；离线SDK图像结构化；视频关键帧获取、结构化、序列化行为分析、结果图流媒体；性能上，高并发；高可用；单张时间，尽量在200ms以内，尤其是视频；准确度。

1.2领域任务模块层（五大领域：人、车、文、物、事）：

• 人：人体（检测、关键点、属性分类、行为、识别或者以图搜人）；人脸（检测、关键点、属性分类、活体行为、识别）；
• 车：车辆（检测、关键点、品牌细分类、属性分类、行为，识别或者以图搜车）；车牌（检测、样式分类、文字识别）；
• 文：OCR（图像预处理、基于图像分类、全部文字检测、指定字段定位、文字识别、基于文字内容分类），领域：票据、证件（个人、企业）、证书、车牌、自然场景（内部系统图像、门牌、站牌、物体等）
• 物：动物（检测、关键点、品种细分类、属性分类、行为、识别或以图搜动物）；物体（检测、关键点、品牌细分类、属性分类、识别或以图搜物）
• 事：特定场景检测，如烟火、物体遗留、工业视觉等。

1.3基础算法层（三个方面检测分割、分类识别、图像预处理）：

• 检测分割：定位目标位置、分出目标类别、提取目标关键点、从画面中分割出目标的像素。
• 分类识别：分类包含三层，大类、属类、细类，检测到目标后，目标品牌或者品种细分类、目标属性分类（颜色、形状、属类等）、静态行为分类、序列行为分类；提取目标特征，结合类别进行以图搜图识别。
• 图像预处理：图像增强、去雾、亮度调整、倾斜校正等。

2 三方面知识点

2.1 图像处理

2.2 机器学习

2.3 基础数学与模型

3 视频的三个场景

3.1 室内中距离（室内，如办公室、商场、家内；卡口，门口等）：

3.2 室外远距离（道路、公共场所等）

3.3 近距离（手机、智能硬件、PC等）

4 深入领域体会

4.1 人脸领域：检测敏感度(人脸倾斜检测)、误检测率，人脸特征提取速度，人脸识别准确度。

4.2 车辆领域：车牌准确度、敏感度；颜色、类型、品牌准确度；车辆整体特征与内部局部特征的提取；车辆行为分析。

4.3 文字领域：图像质量对文字检测与识别的影响，图像预处理，文字检测的准确度与漏检率，文字识别，文字语义的分析。

4.4 视频领域（三大难题）：

• 误检较多。
• 漏检问题，例如遮挡、逆光条件、倾斜姿态较大等情况无法检测到。
• 速度问题，检测算法速度无法完全达到实时性，在100ms以内就不错。解决速度问题方法：a.视频关键帧或间隔帧；b.图像压缩，坐标还原；c.耗时模块在关键时刻运行，其他时刻做数据关联。

---

---

---

---

---

---

---

---

---

---

---

---