事件相机标定实践 - 闪烁棋盘格标定

本文首发于微信公众号【事件相机】，原文链接：事件相机标定实践 - 闪烁棋盘格标定

最近项目需要，做了下“闪烁棋盘格标定”的实践。本文详细介绍标定方法和注意事项。

一、生成棋盘格视频

由于事件相机仅能获取变化的像素，传统的棋盘格静置不动时完全看不到，只有在移动棋盘格时能够看到棋盘格的边界，但这边界不足以用传统方法进行标定。所以一种标定思路就是，生成一段儿闪烁的棋盘格视频，让棋盘格中黑色的方块快速的“消失-出现”，产生“变化”。如下视频：

视频可以很简单的用opencv生成。为了更方便自定义，我写了一段儿代码，用于生成上面的视频。代码链接：https://github.com/LarryDong/blinking_chessboard

代码使用方法：

python genearte_video.py
    --pattern ../pattern/chessboard.png
    --frequency 10
    --duration 5
    --name output_video.avi
    --encoder MJPG

其中pattern参数给出需要闪烁的棋盘格图片，frequency和duration分别为闪烁的频率和持续时间。生成的视频的默认名称为output_video.avi，编码方式为MJPG。

二、拍摄闪烁图片

将保存的视频在一块电脑屏幕上滚动播放，用事件相机进行捕捉，生成单色的event frame。关于event frame的介绍和生成，可以参考另一个github代码https://github.com/LarryDong/event_representation。

调整显示屏和相机的相对位置，拍摄十数张图片，用于标定。

三、标定

接下来可以采用任何你喜欢的标定工具进行标定。我个人用过Matlab，ROS，OpenCV，Kalibr等，但认为最好用的还是Matlab标定：界面非常友好且方便可视化。能够看出每个图片的角点检测结果、重投影误差、空间摆放位置、去畸变结果等。

标定结果：

四、注意事项

实践过程中遇到了一些问题，在这里总结并提醒大家。

• 对焦，让闪烁棋盘格的显示屏在event frame中的边缘尽可能清晰。注意是对焦而不是调焦，调焦的话焦距变了就没法标定了。
• 设置合理的棋盘格闪烁频率和event frame的持续时间间隔。如果闪烁频率低，且event frame的积累时间间隔短，大部分的event frame是抓不到闪烁时刻数据的。当然也可以多抓拍几次。
  - 选择屏幕刷新频率大的显示器播放视频。原因有二：一是如果刷新频率是60hz，那无论闪烁视频的频率是多少，屏幕显现出来的变化频率肯定小于60，且还可能出现拍效应(beat effect)的问题；二是有可能捕捉时正好拍到了棋盘格的刷新间隔，造成棋盘格不完整。

- 屏幕不要有反光。如果有反光，反射了人影、照明灯等，会造成棋盘格不完整。实践表明影响不是特别大，但还是尽可能的避免吧。

五、总结

• 闪烁棋盘格标定可以取得不错的效果
• 闪烁的频率、相机拍摄事件的积累时间、显示屏质量都会影响标定精度
  
  欢迎关注微信公众号【事件相机】，分享和交流事件相机的相关研究与应用。