视频防抖相关知识点简单总结

EIS（Electric image stabilizaiton）

 说明：电子防抖技术

基础知识

人眼防抖
内耳前庭可检测人体的运动加速度，通过眼球转动或摇头抵抗抖动

防抖分类

 光学防抖
 镜头移动
 Sensor移动
 两者一起移动
 电子防抖
 视频后处理过滤器
 位置防抖支架
 防抖CCD

光学防抖

卷帘门效应

由于目前分时曝光的sensor，同一帧图像内的图像存在相位差，如果抖动会导致整体画面的错位，每行的画面存在时间上的延迟导致画面的扭曲

运动模糊

模糊从数学原理上可以理解为是一种图像衰退，psf是一个点的衰退模型，由于抖动导致，psf和原图做卷积就是衰退后的图像。
模糊图像可以理解为，真实图像与模糊点的卷积，真实图像源就是没有抖动的原始图像，PSF是由于镜头抖动导致的衰退模型（点扩散），两者卷积后就是运动模糊后的结果，运动模糊本质上就是图像的衰退。

对衰退图像的还原：盲目反卷积(psf未知)
只要知道准确的PSF，就可做反卷积还原原始图像，但是由于噪声的影响，准确PSF很难得到，对反卷积的准确性有影响。
公式中的n是噪声

多帧短曝光

视频防抖

视频中找到一个参考点，对连续的帧内抽取参考点的运动轨迹，对轨道进行平滑处理，降低抖动

原始视频->运动估计->运动补偿计算->视频补偿->去抖动视频
需要注意的是：防抖不能去除原本的运动状态，防抖并不是使画面静止

运动矢量估计方法

1. 灰度投影
   对每帧图像，行方向和列方向切割成若干条，每条计算所有像素的灰度和，可以得到两个行和列方向的曲线。
   连续两帧图像非常接近，对连续两帧的曲线的相位差就是两帧的运动向量，也就是可以确定运动方向和运动距离。两帧的曲线的误差最小。
   

2. 块匹配法
   找到一个参考点或特征点，判断和参考帧的变化矢量来确定整帧的变化

3. 位平面法
   将一幅图，在整个灰度区间（0-255），分成若干层级，抓取每层级的像素图，得到每个层级的图，选择辨识度高，纹理高的图作为运动参考

4. 光流法

局部运动矢量

对整帧图划分若干块，每个块运动轨迹可能不同。

运动和抖动分离

如何区分抖动和移动：抖动是高频，运动方向不明确，移动是低频，有明确运动方向。

Gyro

问题：gyro的状态和哪一帧匹配？
Gyro位置和图像位置存在偏差，不能100%贴合，因此需要校准

可以避免误判，gyro可提供物理的运动状态。

IMU(inertial Measurement Unit)

IMU 惯性测量单元(Inertial Measurement Unit) 是测量物体三轴角速度和加速度的设备。狭义上，一个IMU内在正交的三轴上安装陀螺仪和加速度计，共6个自由度，来测量物体在三维空间的角速度和加速度，这就是我们熟知的"6轴IMU"；广义上，IMU可在加速度计和陀螺仪的基础上加入磁力计，就形成了"9轴IMU"。
加速度计：测量载体坐标系统独立三轴的加速度信号
陀螺仪：测量载体相对于导航坐标系的角速度信号
磁力计：用卡尔曼或者互补滤波等算法为用户提供拥有绝对参考的俯仰角、横滚角和航向角

原文链接：https://blog.csdn.net/QLeelq/article/details/112985306

视频稳像算法

通过陀螺仪计算设备在三维轴上的运动状态，加速度，运动方向等
运动趋势变化的计算，基于特征点的运动趋势计算
运动和抖动的分离，是难点
抖动是高频的，运动是低频的。