DMS 在商用车和客车上逐渐得到普及,相信在DMS开发的过程中,工程师都会遇到算法和图像质量的问题。
最近我在这方面也有一些自己的陋见,主要集中在如何评估算法和图像质量上。
讨论这个问题,有两个阶段,第一个是,最开始嵌入式设备端,设备还无法采集如ir图像,此时的算法训练素材采集。
第二个阶段,是设备端可以采集图像,此时算法也在持续优化中。
本文主要讲第二个阶段,算法和设备图像相爱相杀的阶段。
这个问题,有点类似与鸡生蛋和蛋生鸡的问题。其中最重要的问题就是,在驾驶员状态识别不太理想的情况下,
如何界定,是图像的问题还是算法的问题?
是因为图像不符合算法识别的要求,还是,图像已经在算法识别的合理范围内,但是,算法本身存在优化空间。
我想,整个过程,都存在着这种界定的艰难判断。
要判断这个问题,必须做一些假设。
假设1. 图像效果可以调试到最佳效果附近,且这个最佳效果同时满足人眼看起来是清晰,比较好的;机器识别起来,
准确率也是比较好的;即,存在一个最佳效果的范围,可以让人眼和机器识别同时满足。而不是人眼和机器识别的图像
要求朝相反方向发展,即人眼看起来清晰,算法识别不好,人眼看起来模糊时,算法识别比较好,这种情况,我们定位
为算法问题,可能与训练的原始素材有关。
假设2. 图像效果和算法优化,不同时变动,即要控制变量来做评测。可以调试出一组人眼看起来比较好的参数,并且相关
图像指标,考虑到算法识别的特殊性,做适当倾斜,比如加锐等;此时需要锁定图像质量,让算法来适配图像质量。
我们相信,针对设备采集的图像做标定和训练,得到相应的模型,对提高准确率也是至关重要的。
接下来讨论图像调试和算法的问题界定,在图像调试到一个版本后,需要对图像效果锁定,针对性优化算法。
此时,在测试算法时,可以用设备录制一组动作,这组视频作为在该图像效果下的视频测试原材料,对每一次
优化后的算法,作为输入,来测试。理想状态下,在对算法进行优化后,读取录制的视频,进行算法识别,识别
结果与期望的结果,可以进行一个比较计算。
这种情况,用来针对,图像质量锁定的情况下,进行算法优化的测试评估。目标是控制变量,及尽可能自动化,这就需要
每次测试时,测试的每一帧图像要完全一致,已排除环境或其他因素干扰,于是,必然需要录制一组视频。只有录制一组
视频,做控制输入变量的测试,才是客观和可量化的,可以避免主观因素干扰,并且避免每次做一组动作的人工成本。
“尘归尘,土归土”,能交给机器去做的,尽量机器做。能自动化的尽量自动化。客观性也是重要的。
第二种情况,算法优化比较好的情况下,或者,算法有瓶颈,或者其他,需要调试图像质量,来适配算法。其实一直
不清楚,为什么需要调试图像质量来适配算法。
算法是不变量,输入的视频是变量,在这种情况下,需要在一个尽可能一致的环境,针对不同的图像效果,各自录制一组
相同的动作,供算法来识别。理论上,也应该能有一个识别出来的情况的比较。
关于这中间,其实有很多问题,不是很了解。
1. DMS 传统机器学习实现的算法,对红外图像,有什么样的要求?
这个应该与算法识别原理有关系,比如要求锐利。。。
2.算法训练的样本采集,采集的样本数量要满足什么要求? 是否完全用嵌入式设备端采集的标定图片?
是否有网上标定好的库的图片?
3. 什么情况下,需要重新训练? 比如,sensor 不同,图像效果有细微差异,此时是否需要重新训练?
如何准确判定,是算法问题,还是图像问题?
4. 算法要求的图像特征,如何进行量化?
在找到一组满意的参数时,如何对采集的图像做定量分析,比如 具备什么样的信噪比, 锐利程度是否能有量化
比较? 以及亮度的量化比较? 曝光行数的量化比较?
比如,有很多的设备,可能sensor 不一定相同,都能采集到比较好的图像时,这些图像有什么共性。
通过这种分析,是否可以得出一些图片共性?以方便知道图像调试方向。
5. 图像调试,什么时候是个头,何时锁定图像质量,推动算法优化?
很多问题,需要大家共同讨论和思考。。。
愿真理越辩越明,没有思考的重复是无意义的,没有变化的重复,是廉价的,只有创新才创造价值。。