FPGA视觉从入门到放弃——可变光照下结构化模板对边缘提取的影响

FPGA视觉从入门到放弃——可变光照下结构化模板对边缘提取的影响

1. 结构化模板

FPGA视觉和计算机视觉的硬件区别在于，计算机（无GPU）串行运行代码，FPGA编译后生成并行计算的逻辑电路。计算机运行时可以边加载边释放内存空间，FPGA烧写后的电路是固定不变的从而无法释放空间。所以，实验中用到的大小为180*180的模板，在PC上运行没有问题，但在FPGA上因为硬件资源有限该模板并没有Fit通过。
这里的结构化模板是指粗暴地把十字模板分为三个有显著结构特征的子模板，减轻FPGA的硬件资源压力。这里子模板大小设置为11*11。

2.无光照二值化阈值

二值化阈值是指灰度图像根据设定的阈值分割为二值图像。十字样本区别于十字模板，是指实际看到的十字目标的灰度图像。
无光照时伸手，图像上会出现大面积的深色手影。为提取十字样本，调节灰度阈值后依然可以找到十字样本与深色手影的决策边界。

3.无光照模板匹配

由于模板的灰度值固定，所以深色手影与十字重叠时没有办法调节决策边界。

4.有光照二值化阈值

光照会增大十字当前图像与其模板的距离，而且深色手影与十字模板的灰度相似度很高。所以放宽阈值项才能检测到十字，同时会引入对深色手影的误检测。

5.有光照模板匹配

光照既会稀释手影又会增大十字样本到模板的灰度像素距离。稀释手影可以降低手影对十字样本的影响，稀释后的手影会补偿光照对十字样本的影响。而且，和光照对漫反射的十字样本的影响不大。

6.二值化阈值与结构化模板的比较

当无主光照时，周围物体的变化对目标样本的影响较大，采用二值化阈值比较好。可以采用自适应阈值的方式，此时自适应阈值的计算要考虑光照变化的所有情况；
当有主光照时，周围物体的变化对目标样本的影响较小，采用结构化模板比较好。结构化模板来自于无光照下的模板，前提是主光照对目标本身影响较小（尽量避免镜面反射等）。