【时间序列谐波分析HANTS】HANTS用于去除异常值、平滑数据集、插值缺失数据以及压缩数据研究（Matlab代码实现）

砌墙_2301

于 2024-09-14 10:12:13 发布

阅读量329

点赞数 13

文章标签： matlab 算法人工智能

本文链接：https://blog.csdn.net/2301_79155639/article/details/142251272

版权

💥💥💞💞欢迎来到本博客❤️❤️💥💥

🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。

⛳️座右铭：行百里者，半于九十。

📋📋📋本文目录如下：🎁🎁🎁

目录

⛳️赠与读者

💥1 概述

1. 去除异常值

2. 平滑数据集

3. 插值缺失数据

4. 压缩数据

总结

📚2 运行结果

🎉3 参考文献

🌈4 Matlab代码实现

⛳️赠与读者

👨‍💻做科研，涉及到一个深在的思想系统，需要科研者逻辑缜密，踏实认真，但是不能只是努力，很多时候借力比努力更重要，然后还要有仰望星空的创新点和启发点。当哲学课上老师问你什么是科学，什么是电的时候，不要觉得这些问题搞笑。哲学是科学之母，哲学就是追究终极问题，寻找那些不言自明只有小孩子会问的但是你却回答不出来的问题。建议读者按目录次序逐一浏览，免得骤然跌入幽暗的迷宫找不到来时的路，它不足为你揭示全部问题的答案，但若能让人胸中升起一朵朵疑云，也未尝不会酿成晚霞斑斓的别一番景致，万一它居然给你带来了一场精神世界的苦雨，那就借机洗刷一下原来存放在那儿的“躺平”上的尘埃吧。

或许，雨过云收，神驰的天地更清朗.......🔎🔎🔎

💥1 概述

HANTS可以用来去除异常值、平滑数据集、插值缺失数据以及压缩数据。

HANTS（Harmonic Analysis of Time Series）是一种时间序列数据分析方法，主要用于处理各种类型的时间序列数据，包括卫星遥感数据、气象数据、环境监测数据等。HANTS 方法通过结合傅里叶变换和谐波分析，能够同时实现数据的去噪、平滑、插值以及数据压缩。

去除异常值：
HANTS 方法能够识别并处理时间序列中的异常值。通过比较数据点与其在谐波模型中的预测值之间的差异，可以识别出那些偏离模型预测较大的数据点作为潜在异常值。然后，可以选择性地用模型预测值替换这些异常值，从而去除或减少对分析结果的不利影响。
平滑数据集：
HANTS 方法利用谐波分析构建时间序列的模型，该模型能够捕捉到时间序列中的主要趋势和周期性变化。通过模型重构时间序列，可以平滑掉原始数据中的随机噪声和小的波动，使得数据更加平滑，便于进一步分析。
插值缺失数据：
在时间序列数据中，由于各种原因（如传感器故障、云层遮挡等）可能会出现数据缺失。HANTS 方法能够利用已有数据构建的谐波模型来预测缺失的数据点。这种方法特别适用于周期性或季节性较强的数据，因为谐波模型能够较好地捕捉这些周期性特征，从而进行准确的插值。
压缩数据：
虽然直接的数据压缩不是HANTS方法的主要目标，但其谐波分析过程实际上实现了一种数据压缩的效果。通过将时间序列数据分解为一系列谐波分量，并使用这些分量来重构原始数据，可以在保留数据主要特征的同时减少数据存储量。特别是对于那些周期性或季节性强的数据，这种压缩效果尤为明显。

HANTS 方法通过其独特的谐波分析技术，在处理时间序列数据时展现出了强大的能力，包括去除异常值、平滑数据、插值缺失数据和间接实现数据压缩。这使得HANTS 方法在遥感数据处理、环境监测、气象预报等多个领域得到了广泛的应用。

时间序列谐波分析（Harmonic Analysis of Time Series，HANTS）是一种综合了平滑和滤波技术的方法，特别适用于处理和分析具有时间性和空间性特征的数据集，如遥感图像数据。以下是对HANTS在去除异常值、平滑数据集、插值缺失数据以及数据压缩方面的详细解析。

1. 去除异常值

HANTS通过傅里叶变换和最小二乘法拟合技术，可以有效地识别和去除数据集中的异常值。其核心思想是将时间序列数据分解成多个不同频率和振幅的正弦波和余弦波（谐波分量），并基于这些分量的重构来识别并去除异常值。具体过程如下：

傅里叶变换：首先对时间序列进行傅里叶变换，得到不同频率分量的振幅和相位。
最小二乘法拟合：通过最小二乘法对变换后的数据进行拟合，生成一个新的时间序列。
异常值识别：比较原始时间序列和拟合后的时间序列，将明显偏离拟合曲线的点视为异常值，并将其从数据集中去除。

2. 平滑数据集

HANTS在平滑数据集方面的应用主要体现在对时间序列的分解和重构上。通过将时间序列分解为多个谐波分量，并选取能够反映时间序列主要特征的谐波进行叠加，可以实现对数据集的平滑处理。这种方法不仅可以去除噪声，还能保留时间序列的主要变化趋势。

3. 插值缺失数据

对于存在缺失值的时间序列数据，HANTS可以通过对已有数据的谐波分解和重构来实现对缺失值的插值。具体步骤如下：

数据预处理：对存在缺失值的时间序列进行预处理，如填充适当的占位符（如-9999）或根据上下文进行简单估算。
谐波分解：对预处理后的数据进行谐波分解。
重构与插值：基于分解得到的谐波分量，通过最小二乘法拟合，重构出完整的时间序列，从而实现对缺失值的插值。

4. 压缩数据

虽然HANTS本身并不直接用于数据压缩，但其通过谐波分解和重构的过程，实际上实现了对时间序列数据的一种高效表示。通过保留对时间序列特征贡献最大的几个谐波分量，可以在保证数据质量的同时，显著减少数据存储和传输所需的空间。这种方法可以视为一种间接的数据压缩手段。

总结

HANTS在时间序列数据分析中展现出了强大的能力，特别是在去除异常值、平滑数据集、插值缺失数据以及间接数据压缩方面。其核心算法包括傅里叶变换和最小二乘法拟合，通过这些技术，HANTS能够有效地处理和分析复杂的时间序列数据，提取出有意义的周期性和趋势性信息。在实际应用中，HANTS已经被广泛应用于气象学、生态学、经济和金融等多个领域。

📚2 运行结果

部分代码：

%%
disp('Smoothing and filling the missing data ...')
[Ts_HANTS, amp, phi]=ApplyHants(Ts,nb,nf,fet,dod,HiLo,low,high,delta);

% Note: now you can store only amp and phi to reconstruct Ts_HANTS.
% This can be used as sort of lossless image compression method.
% To reconstruct Ts_HANTS using amp and phase issue:
% Ts_HATNS_Recon=ReconstructImage(amp,phi,nb);
%% FillValue/MissingValue=-2
Ts(Ts==-2)=NaN;
line=15;
sample=15;

plot(Ts(:,line,sample),'b.');
hold on
plot(Ts_HANTS(:,line,sample),'r.');
xlim([1 366]);
xlabel('Day of Year (2008)')
ylabel('Surface Temperature (K)')
title('Surface Temperature - MODIS, WA');
legend('Original Data Set','Smoothed Data Set using HANTS','Location','South')