DTW 在遥感水稻制图中的应用进展

DTW 基础可参考《DTW：Dynamic Time Warping，动态时间规整》—— ww ^ 的CSDN博客

1   发明：语音识别

1971，Sakoe H等，《A dynamic programming approach to continuous speech recognition》，IEEE TASSP（IF 4.875）

1978，Sakoe H等，《Dynamic programming algorithm optimization for spoken word recognition》， IEEE TASSP

1978年《Dynamic Programming Algorithm Optimization for Spoken Word Recognition》—— ww 的CSDN博客

        比较 长度不同的 2 个一维序列 之间的相似性。

2   拓展：遥感影像处理

2012，François P等，《Satellite Image Time Series Analysis Under Time Warping》，IEEE TGRS（IF 8.125）

文献翻译可参考 《动态时间规整（DTW）在遥感中的应用》—— ww ^ 的CSDN博客

        为了适应遥感影像时间序列的特殊性，作出一些调整：

        ① 遥感影像为多波段数据，遥感时序的元素为 多波段像元（多维向量），因此遥感影像时间序列是 多维序列。该研究提出了适用于多维序列的 DTW ：在比较序列元素之间的距离时，采用一个能够比较多维向量的距离度量。

        ② 将遥感时序应用于地物分类时，可能需要引入专业知识，即给 DTW 增加一些限制条件。以往研究通过把匹配路径(warping path)限制在一些特定的搜索范围(warping window)内，来减小计算复杂度。但是，以往研究只考虑了规则采样的序列，而遥感时序的采样是不规则的。

        该研究针对遥感影像时间序列的不规则时间采样的特点，将搜索范围的限制条件修改为：DateDiff( Date(i), Date(j) ) < ∆t 。其中，DateDiff 是一个函数，返回值是两个日期之间的间隔时间（elapsed time）；Date(i) 表示第1个序列的第 i 张影像的观测时间，Date(j) 表示第2个序列的第 j 张影像的观测时间；∆t 表示最大采样时间间隔。

2014，François P等，《Efficient Satellite Image Time Series Analysis Under Time Warping》，IEEE GRSL（IF 5.343 ）

        2014年欧空局 Sentinel 项目启动，这些作者又发了一篇文章说明 将 DTW 应用于 卫星影像时间序列 的具体方法。

2014，Zhang Z等，《Satellite Image Time Series Clustering Under Collaborative Principal Component Analysis》

        先利用主成分分析对多光谱数据进行降维，再利用 DTW 进行聚类。

2014，Zhaohui Xue等，《Phenology-Driven Land Cover Classification and Trend Analysis Based on Long-term Remote Sensing Image Series》4.175 IEEE STAEORS

       将 DTW 作为一种距离度量方式，用于筛选可靠的参考样本。

2015，钟礼山等人，《利用SAR影像时间序列的耕地提取研究》，地理科学进展

        利用多种序列相似性方法（欧氏距离、Pearson相关系数、DTW）进行耕地提取：将像元的时序与参考时序进行相似性计算，相似度较高就认为是耕地。

        缺点：耕地上作物不同，时序差别很大。耕地参考时序的代表性有待考证。

2016，Guan Xudong 等人，《Mapping Rice Cropping Systems in Vietnam Using an NDVI-Based Time-Series Similarity Measurement Based on DTW Distance》

        将DTW 应用于水稻制图。将待测像元的时序与参考时序进行相似性度量，相似性较高的识别为水稻。具体见《Mapping Rice Cropping Systems Base on DTW》——ww ^的CSDN博客

2017，李继红 徐佳栋，《基于动态时间规整算法的时间序列遥感影像树种分类》，东北林业大学学报

        将 DTW距离 和 ED距离 应用到 K-means 算法，从而进行树种聚类。结果显示：DTW－K Means 比 ED－K Means 效果更好。

2017，《Phenology from Landsat when data is scarce: Using MODIS and Dynamic Time-Warping to combine multi-year Landsat imagery to derive annual phenology curves》，7.672 International Journal of Applied Earth Observation and Geoinformation

《Using MODIS and DTW to derive Landsat annual phenology curves》_ww ^的CSDN博客

       首先通过 MODIS 数据(低分辨率) 量化 物候年际差异（选定一个参考年，用 DTW 将其他年份与之进行 DTW 匹配，记住每年的最佳匹配）；然后使用 DTW 对 多年 Landsat 影像(高分辨率) 进行 re-align（本质是消除作物生长季在不同年份之间的时间轴偏移）；最后为 2002-2012每年创建一个 Landsat 物候曲线（利用 double logistic function 拟合）。

2019，《Land cover mapping based on time-series MODIS-NDVI using a dynamic time warping approach: A casestudy of the agricultural pastoral ecotone of northern China》

        相似性匹配：首先建立一个参考曲线库。然后计算待测曲线与各参考曲线的距离，距离最小的参考曲线所对应的地物类型即 待测地物所属的类型。

2019，《A time-series classification approach based on change detection for rapid land cover mapping》，10+  ISPRS Journal of Photogrammetry and Remote Sensing

        先对时序进行断点判断，再利用 DTW 对子时序进行分类。

2019，《Object-Based Time-Constrained Dynamic Time Warping Classification of Crops Using Sentinel-2》0

        首先将影像分割成 objects，然后对每个 object 利用 DTW 进行分类(相似性匹配)。比较了 应用了15、30、45、60 天的时间限制后，各种单波段(multiple single-band) 和 多波段(multi-band)  DTW 分类 的表现。

2020，RS，《Mapping National-Scale Croplands in Pakistan by Combining Dynamic Time Warping Algorithm and Density-Based Spatial Clustering of Applications with Noise》

        ① 使用 multi-layer DBSCAN 对训练数据进行聚类，以每个聚类的平均时序曲线作为该地物类型的标准时序曲线；在 DBSCAN 中，用两个像元时序之间的 DTW 距离，代替 Manhattan 距离。② 计算 待测像元的时序 与 各类地物的标准时序 之间的 DTW 距离，距离最小的地物即为待测像元的类型（cropland / bare land / vegetation / water body / artificial surface / ice & snow）。

2021，《利用作物生长模型和时序信号甄别水稻镉胁迫》

       计算 实测水稻曲线与健康水稻曲线之间的 DTW 距离，监测水稻重金属胁迫水平。

2021，RS，《Short and Medium-Term Prediction of Winter Wheat NDVI Based on the DTW–LSTM Combination Method and MODIS Time Series Data》

       结合DTW和LSTM：使用 FFT 把 NDVI序列 分解成低频时序和高频时序，将低频时序输入到DTW模型、高频时序输入到LSTM模型。

2022，《Multi-Temporal Data Fusion in MS and SAR Images Using the DTW Method for Paddy Rice Classification》，3.408 agriculture

        hybrid classification：先把影像喂到机器学习(SVM、DT、NN)分类器，取出 confusion samples；利用 DTW 计算两个序列之间的相似性，共351种组合（171 个光学影像特征相似性、28 个雷达影像特征相似性、152 个光学和雷达的特征相似性）；将上述所有组合进行数据融合，得到 “multi-scale time series feature similarity” 因子；将该因子作为新的特征加入分类器。

2022，《Effects of Landsat image acquisition date on winter wheat classification in North China》，ISPRS

       和一般的 DTW 识别一样（建立标准曲线库+待测像元曲线匹配）。该文章主要是研究 9 个获取日期的组合（2-9 张影像组成一个曲线）对冬小麦识别的影响。

2022，《Wetland Vegetation Classification through Multi-Dimensional Feature Time Series Remote Sensing Images Using Mahalanobis Distance-Based Dynamic Time Warping》

       构建了多维特征时间序列，特征包括：RVI、EVI、DVI、NDVI 。

       如果使用欧氏距离，每个特征(植被指数)的权重相同，且会忽略特征之间的关系。但是，不同的特征与待测物标签的关系可能是不同的，且不同特征之间可能存在某些相关性。该研究使用 Mahalanobis distance 度量多维特征向量时序之间的局部距离。

       传统的做法是使用协方差矩阵的逆作为M，协方差矩阵代表了数据内部的聚合关系。该研究通过 Metric Learning 学习 Mahalanobis matrix，使得该矩阵不仅能代表数据内部的聚合关系，还能反映样本属性和类别之间的关系。

2023，RS，《Optimization of Characteristic Phenological Periods for Winter Wheat Extraction Using Remote Sensing in Plateau Valley Agricultural Areas in Hualong, China》

       和一般的 DTW 识别一样。

3  改进1：导数（DDTW）

2001，Eamonn J K & Michael J P，《Derivative Dynamic Time Warping》

2001年《Derivative Dynamic Time Warping》Eamonn J K & Michael J P_ww ^的博客-CSDN博客

        改变 DTW 距离中所用的特征。将 原始数据(Y值) 改为 一阶导数。

4 改进2：权重（WDTW）

2011，Jeong Y S等人，《Weighted dynamic time warping for time series classification》

2011年《Weighted dynamic time warping for time series classification》—— ww ^的CSDN博客

        提出了 WDTW（Weighted Dynamic Time Warping）：计算两个 点 之间的距离时，增加基于相位差的惩罚项(权重)，相位差越小，惩罚越少，权重越小。原理是邻近点比远点更重要。避免 一个序列中的点 与 另一个序列中与之相位差很大的点 进行匹配（为了匹配 Y 值 而 扭曲 X轴）。

2016，Victor Maus 等人，《A Time-Weighted Dynamic Time Warping Method for Land-Use and Land-Cover Mapping》

2016年《A Time-Weighted Dynamic Time Warping Method for Land-Use and Land-Cover Mapping》：TWDTW —— ww ^的CSDN博客

       将 WDTW 的思想应用到遥感影像时间序列。WDTW 的权重是相位差，TWDTW 的权重是时间差，本质都是 X 轴的差异。

2020，《Mapping Winter Wheat in North China Using Sentinel 2A/B Data: A Method Based on Phenology-Time Weighted Dynamic Time Warping》，RS

《Mapping Winter Wheat Based on Phenology-Time Weighted DTW》—— ww ^的CSDN博客

        冬小麦 NDPI 曲线的两个特殊区间：冬天之前上升、heading 之后下降。

        ① 计算两个点之间的距离时，增加时间惩罚项（TWDTW思想：两点的时间差不能太大）。② 计算两个 序列 之间的距离时，为处于重要时段的点赋予更大的权重，其他点更小的权重。

2018，《An Open-Boundary Locally Weighted Dynamic Time Warping Method for Cropland Mapping》

        open-boundary DTW （其实就是原始 DTW） + weight

2020，RS，《Mapping Winter Wheat in North China Using Sentinel 2A/B Data: A Method Based on Phenology-Time Weighted Dynamic Time Warping》

       对每个点之间的距离乘上权重：

2021，《Vegetable mapping using fuzzy classification of Dynamic Time Warping distances from time series of Sentinel-1A images》

        fuzzy classification：一个像元可以有多个类型。使用待测像元的曲线 与 每个类型的参考曲线 之间的 TWDTW 距离 作为分类依据，并对这些距离进行归一化处理。

2022，《A 30 m Resolution Distribution Map of Maize for China Based on Landsat and Sentinel Images》

        基于作物物侯方法，利用Landsat与Sentinel-2反射率产品生成NDVI，经去云、插值、滤波处理后，通过随机抽选玉米调查样点构建各省份的标准NDVI时序曲线，使用 TWDTW 逐像元计算NDVI时间序列与标准曲线的差异，并进一步根据省级统计面积确定差异阈值，按照差异阈值识别玉米像元，最终生成了2016-2022年全国22省份30米分辨率的玉米种植分布图。

5 反例

2021，《Comparison of Regional Winter Wheat Mapping Results from Different Similarity Measurement Indicators of NDVI Time Series and Their Optimized Thresholds》，RS

        与其他研究结果不一致的可能原因：① 用于匹配的曲线是交叉相关曲线。② 只利用了 NDVI 一种特征。