思想:对比(输入第一帧图像和warping造的fake图应该是相似的,similarity)
应用:光流场
数据:极光数据
一、主要思路
输入时间连续的两帧极光图像,用光流提取网络求得前向光流和后向光流,光流和原图经warping生成fake图,让fake和原图尽可能相似(对比思想)。
为保证学习的光流正确性,使用Deformation Estimation检测极光结构变化,找出变形的像素,进行mask。通过census transform补偿极光照明的变化(以前的使用的都是亮度恒定假设);由于变形极光占据了较大的图像面积,我们设计了一个变形约束来更好地解释极光变形。
二、局限性
首先,在光度差计算中排除了变形区域,使得模型无法从这些变形像素中获取可靠信息。
其次,主要从定性上评估模型的有效性,而定量评估仅针对PMAFs识别任务间接进行。应探索其他定量指标,并考虑更多的极光运动类型,以进一步验证所提出方法的有效性。
三、未来改进方向
第一, 探索一种无监督的方法来学习变形像素的极光光流;
第二, 探索在没有ground-truth的情况下计算的可能指标,以定量评估极光光流估计结果;
第三, 将Unarflow扩展到其他极光任务,例如PMAFs检测、极光亚暴识别和检测以及极光运动的方向和速度估计。
四、文章重点解释
Deformation Estimation:
极光结构以不同的幅度和方向移动,极光的强度不断变化,这导致在极光图像的下一帧中找不到与前一帧对应的像素。所以,可以找出变形的结构进行mask,以避免学习光流时出现错误。
变形:对于非变形像素,第二帧中对应像素处的正向流和反向流,应该相反。当正向流和反向流之间的十分不匹配或流超过图像边界时,我们将这些像素视为变形。
census transform:
在图像区域定义一个矩形窗口,用这个矩形窗口遍历整幅图像。
选取中心像素作为参考像素,将矩形窗口中每个像素的灰度值与参考像素的灰度值进行比较,灰度值小于或等于参考值的像素标记为0,大于参考值的像素标记为1,最后再将它们按位连接,得到变换后的结果,变换后的结果是由0和1组成的二进制码流。Census变换的实质是将图像像素的灰度值编码成二进制码流,以此来获取邻域像素灰度值相对于中心像素灰度值的大小关系。