深度学习缺陷检测系统工程 全生命周期管理实践-全书各部分思路整理

人工智能工程落地技术团队，从整个公司或者项目协作的角度，主要的内部配合团队主要包含了光学成像、机械设计、电气设计、识别算法实现、软件逻辑开发，这也是行业俗称的“光、机、电、算、软”这五大核心内容，也被我们成为一只手的五根手指，只有五根手指之间相互高效配合，才能有效实现相应的动作；而仅有这五根手指，是不能够让手正常执行相应的任务达到相应的目标的，它也需要血管、肌肉、皮肤等等才能使其工作。视觉项目也如此，仅靠算法是不行，仅靠“光机电算软”也不是能够长效配合的，需要实施、销售售后服务、生产、销售、质检等等部门的协调配合才能正常推进项目落地，整个的视觉项目整体相关方如下图：

但从单个视觉项目的参与程度上讲，算法是从头到尾贯通整个视觉的项目的角色，任何一个环节都会涉及到算法工程师的工作，比如成像方案要让算法工程师确认成像可用性，机械设计结构要让算法确认相机的可调整范围，成像角度，是否避光等内容、电气要让算法参与考虑算法的执行时间，产线的生产节拍是否匹配、软件需要算法的配合编写相应的后处理逻辑，阈值控制，存图控制等内容。
从算法内部团队工作内容上来划分，一个比较健康的算法团队的成长方式一定是研究内容和算法工程交付内容同步推进，才能够让组织健康发展下去，如果工程师所有的精力都用在一个个具体项目的交付上时，算法工程师每天的工作都只是处理数据、训练模型、分析、处理数据~~，周而复始，工程师没有进步空间，很快就会造成团队内部的不稳定。主要有70%的精力用于具体项目的开发和实施验证，包括日常的数据分析、模型训练、模型测试、压缩、量化、剪枝、蒸馏、模型的加密、模型部署等；另外30%的精力用于新技术的研发上，比如安排无监督学习异常检测，大模型长尾数据生成、缺陷特征可视化、cuda并行推理等工作内容，这样让个人能够在技术的广度和深度上有一定的提升，也能够为组织带来突破性进展。
对于整个部门来讲，除了相应的项目交付和新技术研发外，部门内部提效工作也是比较重要的一环，比如自动化数据分析工具、数据集管理工具、模型管理工具、自动标注工具等内容的开发，这样可以让工程师们有用更少的时间更高效的处理70%的项目交付工作，更多的精力来从事高价值内容的研发，也让模型在各个环节中减少人为出错的概率，降低人为感性认识对结果的影响。
本书一共包含三大部分内容。
第一部分主要是缺陷检测工程化相关内容。从相机的类型、成像方式、镜头的选择、光源的类型、特殊光源特殊光线的了解、到各项目的硬盘配套选型方案；
第二部分是本书较为重要的深度学习算法部分，包括数据分析、算法的选择、模型训练流程、有哪些常使用的框架、模型测试报告的要求、多模型联合推理、边缘计算设备部署；第二大部分主要为深度学习工程提效方法，如自动标注、模型在线自迭代、数据探索性分析、大模型图像生成、使用大模型帮住代码开发提效；
第三部分主要为一些管理相关内容，如技术团队算法团队的管理方式、知识库管理方式、客户需求对齐、标注标准化流程设计等内容，内容涉及到深度学习落地的方方面面，全面而深刻的将行业实际应用进行高效落地。