【论文笔记】Unsupervised Learning of Auroral Optical Flow for Recognition of Poleward Moving Auroral Forms

思想：对比（输入第一帧图像和warping造的fake图应该是相似的，similarity）
应用：光流场
数据：极光数据

一、主要思路

输入时间连续的两帧极光图像，用光流提取网络求得前向光流和后向光流，光流和原图经warping生成fake图，让fake和原图尽可能相似(对比思想)。
为保证学习的光流正确性，使用Deformation Estimation检测极光结构变化，找出变形的像素，进行mask。通过census transform补偿极光照明的变化（以前的使用的都是亮度恒定假设）；由于变形极光占据了较大的图像面积，我们设计了一个变形约束来更好地解释极光变形。

二、局限性

首先，在光度差计算中排除了变形区域，使得模型无法从这些变形像素中获取可靠信息。
其次，主要从定性上评估模型的有效性，而定量评估仅针对PMAFs识别任务间接进行。应探索其他定量指标，并考虑更多的极光运动类型，以进一步验证所提出方法的有效性。

三、未来改进方向

第一， 探索一种无监督的方法来学习变形像素的极光光流；
第二， 探索在没有ground-truth的情况下计算的可能指标，以定量评估极光光流估计结果；
第三， 将Unarflow扩展到其他极光任务，例如PMAFs检测、极光亚暴识别和检测以及极光运动的方向和速度估计。

四、文章重点解释

Deformation Estimation：
极光结构以不同的幅度和方向移动，极光的强度不断变化，这导致在极光图像的下一帧中找不到与前一帧对应的像素。所以，可以找出变形的结构进行mask，以避免学习光流时出现错误。
变形：对于非变形像素，第二帧中对应像素处的正向流和反向流，应该相反。当正向流和反向流之间的十分不匹配或流超过图像边界时，我们将这些像素视为变形。

census transform：
在图像区域定义一个矩形窗口，用这个矩形窗口遍历整幅图像。
选取中心像素作为参考像素，将矩形窗口中每个像素的灰度值与参考像素的灰度值进行比较，灰度值小于或等于参考值的像素标记为0，大于参考值的像素标记为1，最后再将它们按位连接，得到变换后的结果，变换后的结果是由0和1组成的二进制码流。Census变换的实质是将图像像素的灰度值编码成二进制码流，以此来获取邻域像素灰度值相对于中心像素灰度值的大小关系。