时频序列生成对抗网络及其应用简介

网页科普：

时频序列生成对抗网络及其应用简介

邱晓红 孙卓峰

（江西理工大学软件工程学院，南昌，330013）

摘要：

时间序列数据是描述客观世界对象的基本数据，通过时间序列数据建立研究对象的准确模型成为重要的建模任务。但已有建模方法，多侧重于其时序特性，忽略了其时域和频域的联合特征，从而在噪声干扰下，难于建立更精确模型。例如经典的时间序列生成对抗网络(TimeGAN)模型能够高质量地生成具有统计特性和时间序列特性的合成数据，但对具有缓变化趋势的特征难于建模。本文介绍一种同时关注时域和频域联合特征的时频序列生成对抗网络（TFGAN），TFGAN研究工作获得国家基金项目资助的。TFGAN是在TimeGAN模型基本框架下，引入时频序列转换器，同时评估其时域特征和频域特征的一致性，克服时域数据的过度拟合，反映长时间数据的累积变化趋势-频率特征，在生成对抗模型中优化了鉴别器，进一步提升模型性能。实验结果表明，TFGAN在不同特性的真实多变量的数据集，如股票数据集stock、电力变压器数据集ETT_small、货币汇率数据集Exchange_Rate等的定性和定量的表现，均优于
TimeGAN，性能有明显的提升，都超过5%。结果表明TFGAN建模具有非常好的应用前景。

**关键词：**时间序列、生成模型、时频一致性、生成对抗网络(GAN)

1.引言

时间序列数据是描述客观对象的基本方式，按照时间顺序记录下来的现实世界物理运动痕迹，如动态的气象数据、交通轨迹、化学反应过程、卫星遥感数据、工业生产数据、天体运动轨迹等等。通过时间序列数据对客观对象建立能反映其演化规律的模型成为当前热点的研究问题。

时间序列模型的经典处理方法，包括基于传统机器学习的随机森林、基于深度学习的LSTM、基于状态空间模型的卡尔曼滤波、基于回归的经典方法等等。随着学者们对各种方法的深入研究，基于深度学习方法逐渐体现出优秀的高维数据处理能力、对噪声较好的鲁棒性、对数据长期依赖关系更好的捕获能力、以及强大的异构处理能力等。随着计算算力的提升，以深度学习为核心的方法已经成为时间序列数据的主要处理模式。在时间序列处理的任务里，准确的预测能力是至关重要的基石，时间序列生成模型同样离不开一个性能优异的预测模型作为其内在框架。但是，仅靠传统的预测框架难以应付复杂的时序特征。近年来，提出了先进的基于深度学习方法生成模型，用于捕获复杂的时序特征，并增强模型预测能力，出现了性能优秀的时间序列模型。2019年Jinsung Yoon等提出了时间序列生成对抗网络TimeGAN(Time-series Generative
Adversarial Networks)[1]，结合了GAN和自回归模型的理念，不仅可以有效地捕捉时序数据的长期依赖关系，而且最终的生成数据仍能在局部保持较强的时间一致性。TimeGAN提升时间序列数据建模效果，增加内嵌网络学习时序相关性特征，对生成对抗网络和自编码器联合训练，充分发挥无监督学习灵活性强和有监督训练控制能力强的优势，解决了数据模型在时间序列数据上的生成和自回归问题，能有效提高周期性、相关性、离散型等多维时间序列数据如股票价格的建模精度,补充小样本数据[2]。

时间序列数据由于其特有的时序性和复杂性，频域信息分析在相关处理中至关重要。例如，频域提供了信号的全面视图，有助于模型提取全局特征如用于轴流压气机失速喘振先兆特征建模[3，4]。而且，基于频域的处理更容易捕捉数据的隐藏分布或基础分布，在信号处理任务中体现出较好的鲁棒性[5]。时间序列数据通常在时域中表现的冗余且低效率，如时间域的有效信息往往是分散且稀疏的，即使是考虑了前后依赖关系，每个时间步的数据仍然倾向独立处理[6]。而传统的时间序列方法往往侧重于时域中的特征提取和建模，忽视了其中包含的频域信息，这样做有时会导致模型表现出一定的局限性，限制了模型的性能及其泛化能力[7]。另外，一般来说对数据处理仅仅依靠时域或频域分析都存在固有的局限性，例如在应对点异常和季节异常等问题时可能表现不佳[[8]]。

针对现有的时间序列生成模型存在的问题，提出扩展TimeGAN模型处理优势，增加利用其时序频域特征更有效抑制时序数据存在的干扰[4]，即研究兼顾时间序列的时序相关性及其频域特征的深度学习模型，称为时频序列生成对抗网络TFGAN(Time-Frequency-series Generative Adversarial
Networks)，增加时频序列转换器，将时频特征一致性的思想应用于TimeGAN模型的自监督编码优化和鉴别器中，确保生成数据的频谱特性尽可能与原始数据一致，从而提升模型的整体性能。

2.时频序列生成对抗网络模型

如图1所示，是研究的时频序列生成对抗网络TFGAN结构，主要包括自编码器和生成对抗网络两大部分。自编码器又包括内嵌网络(embedding network)和复现网络(recovery network)，生成对抗网络包括生成器(generator)和判别器(discriminator)。与时间序列生成对抗网络TimeGAN相比,它们内部增加了时频序列转换算法模块。

（1）模型结构示意图 （2）主要信号流关系图

图1 时频序列生成对抗网络模型结构示意图

如图1所示，TFGAN的学习训练是独特的一种联合训练，即依靠三个不同的损失误差函数对自编码器和生成对抗网络进行训练。复现重建误差函数L_R用于自编码器参数的优化，表示自编码器对输入数据的内嵌模式的掌握程度；非监督学习误差函数L_U用于生成器和判别器的对抗网络参数的优化，而监督学习误差L_S则是针对于生成器对"时域动力学和频域关键特征"的学习。自编码器的内嵌网络致力于发现时序数据的潜在特征，而对抗网络则在潜在空间里进行操作，通过监督学习使得生成数据的"时域动力学和频域关键特征"尽可能地向真实数据的"时域动力学和频域关键特征"逼近。自编码器实现的是特征空间和潜在空间之间的可逆映射，它的作用就是让对抗网络能够在更小维度的空间中学习"时域动力学和频域关键特征"，降低学习训练的难度。

如图1右边子图(2)所示主要信号流关系图，从模型训练过程来看，首先基于真实时间序列数据在自编码器中进行数据重构，数据类型定义为静态数据S和时频序列数据X 两类,内嵌网络静态空间(函数)$h_S$ 和动态空间$h_t$(函数)可定义为

${h_S=e}_S(s),{h_t=e}_X(h_S,h_{t-1},x_t)$ (1)

$\tilde{s}=r_S\left(h_S\right),{{\tilde{x}}_t=r}_X(h_t)$
(2)

式(1)和（2）中,e,r分别表示相应变量的嵌入函数和复现函数；$\tilde{s}$和${\tilde{x}}_t$
则是复现函数解码后的输出数据。在对生成对抗网络进行设计时，生成函数$g$与对抗函数$d$可以定义为

${{\hat{h}}_S=g}_S\left(z_S\right),{{\hat{h}}_t=g}_X({\hat{h}}_S,{\hat{h}}_{t-1},z_t)$
(3)

${\tilde{y}}_S=d_s\left({\tilde{h}}_S\right),{{\tilde{y}}_t=d}_X({\overleftarrow{u}}_t,{\overrightarrow{u}}_t)$
(4)

${\overleftarrow{u}}_t={\overleftarrow{c}}_X\left({\tilde{h}}_S,{\tilde{h}}_t,{\overleftarrow{u}}_{t+1}\right),{\overrightarrow{u}}_t={\overrightarrow{c}}_X\left({\tilde{h}}_S,{\tilde{h}}_t,{\overrightarrow{u}}_{t-1}\right)$
(5)

式中，$z_S$和$z_t$表示生成器使用高斯分布和维纳过程两种初始噪声类型数据，${\hat{h}}_S$和${\hat{h}}_t$
则为经过生成器获得的静态和动态数据。${\tilde{y}}_S$和${\tilde{y}}_t$对应数据的判别结果。${\tilde{h}}_{\ast }$表示既可使用真实数据，也可使用生成的数据${\hat{h}}_{\ast }$，${\overleftarrow{c}}_X$,${\overrightarrow{c}}_X$
在这里表示判别器的具有前馈输出层的双向循环网络的实现。

三个优化损失函数定义为：

$L_R^{}=E_{S,t\sim p_x}\left[{\Vert S-\tilde{S}\Vert }_2^2+\alpha {\sum }_t^{}{\Vert x_t-{\tilde{x}}_t\Vert }_2^2+\beta {\sum }_t^{}{\Vert x_{tf}-{\tilde{x}}_{tf}\Vert }_2^2\right]$

$L_U^{}=E_{S,t\sim p_x}\left[\lg y_S+{\sum }_t^{}{\lg y}_t\right]+E_{S,t\sim {\hat{p}}_x}\left[\lg \left(1-{\hat{y}}_S\right)+{\sum }_t^{}{lg(1-\hat{y}}_t)\right]$
(6)

$L_S^{}=E_{S,t\sim p_x}[{\sum }_t^{}{\Vert {h_t-g}_X\left(h_S,h_{t-1},z_t\right)\Vert }_2^2+\gamma {\sum }_t^{}{\Vert x_{tf}-{\tilde{x}}_{tf}\Vert }_2^2]$

式(6)中，$\alpha 、\beta 、\gamma$等参数是为了实现时域和频域特征融合的加权系数，当$\beta =0、\gamma =0$时，表示不关注其频域的特征，TFGAN就退化为TimeGAN。这些参数的选择方式还可以复杂化，如对某些频段系数大，某些系数小，进行加权。这里描述的是最简单的处理方式。TFGAN的自编码器和对抗网络的联合训练过程与TimeGAN的类似，但采用的是如式（6）考虑了频域特征的损失误差函数，训练分三个阶段：

1).利用真实时间序列数据及其时频序列转换获得的关键频域特征，训练自编码器以优化重建时间序列过程。

2).利用真实时间序列数据及其时频序列转换获得的关键频域特征优化监督学习损失误差，以捕获历史数据中的"时域动力学和频域关键特征"。

3).序列生成器、判别器的非监督学习和自编码器监督学习的联合训练。

由于TFGAN考虑了时间序列的频域关键特征，其生成对抗网络不同于已有的一般生成对抗网络和TimeGAN。其对抗网络所需要生成的是拥有频域关键特征的时间序列数据，而不是图片；其对抗网络要学习的对象------拥有频域关键特征的内嵌网络生成的潜在空间不是静止的，而是随着学习过程动态变化的。

3.生成对抗网络的时频序列特征融合处理方案

如图1所示，TFGAN是通过时频序列转换器获得频域关键特征，在如式(6)损失函数加以综合，对时序数据时域特征和频域特征的融合处理，通过监督学习，TFGAN网络模型通过时域和频域特征联合分布的训练学习来更好地逼近全局最优。如对对轴流压气机失速喘振试验数据处理[4]，联合其时域和频域特征能更准确发现失速喘振征兆。可以采用不同的时频序列转换器，最简单直接的就是采用离散傅立叶变换的快速算法FFT，直接从时序数据获得其频域数据，进而提取其频域特征。另外两种是采用小波变换频域特征和采用时频域自编码结构的时频序列转换器。

3.1采用小波变换的时频序列转换器

时频序列转换器可以采用小波变换来实现，进行时域序列$x_i^T$到频域$x_i^F$
的变换。这种变换将离散时间信号分解为离散小波表示。给定时间序列点${\mathbf{t}=\left(t_0,t_1,\dots ,t_{N-1}\right)}_{}^T$
代表长度为N的离散时间序列${\mathbf{x}=\left(x_{t0},x_{t1},\dots ,x_{tN-1}\right)}_{}^T$,其基函数为${\phi =\left({\phi }_0,{\phi }_1,\dots ,{\phi }_{N-1}\right)}_{}^T$
和${\psi =\left({\psi }_0,{\psi }_1,\dots ,{\psi }_{N-1}\right)}_{}^T$,那么每个尺度层(j0或j)中每个平移(以k为索引)的系数就是信号在每个基函数上的投影。

${\omega }_{\phi }^{}\left[j_0,k\right]=\left(\mathbf{x},{\phi }_{j_0,k}\right)$=$\frac{1}{\sqrt{N}}{\sum }_{m=0}^{N-1}\mathbf{x}[m]{\phi }_{j_0,k}[m]$
(7)

${\omega }_{\psi }^{}\left[j_{},k\right]=\left(\mathbf{x},{\psi }_{j_{},k}\right)$=$\frac{1}{\sqrt{N}}{\sum }_{m=0}^{N-1}\mathbf{x}[m]{\psi }_{j,k}[m]$
(8)

在式(7)和式(8)中${\omega }_{\phi }^{}\left[j_0,k\right]$被称为近似系数,${\omega }_{\psi }^{}[j,k]$被称为细节系数。不同层次上的细节系数反映了信号在不同尺度上的方差，而近似系数则反映了信号在该尺度上的平滑平均。离散小波变换的一个重要性质是每一层的细节系数是正交的。对于任何一对不在同一层的细节系数，其内积为０。因此,可以将细节系数解释为信号的加性分解,
即多分辨率分析。小波变换利用这多分辨率特性能对非平稳时间序列进行时频分析，可使学习得到的失速喘振先兆特征检测模型对失速喘振非平稳时间序列信息也具有高效的检测能力。

3.2时频域自编码结构的时频序列转换器

鉴别器在基于 TimeGAN 的框架下，接受嵌入空间提供的更低维的表示学习数据。由于嵌入函数基于自回归且服从因果排序，所以该输入数据仍然保留原始数据的基本时间动态性。输入时间序列数据复制为两份，一份直接输入时间域编码器处理；另一份经过傅里叶变换得到嵌入学习数据的频域表示，输入至频域编码器处理，如图2所示意。这种结构有助于从输入数据中提取高级的特征表示，也可以简化数据的复杂性，有利于后续的特征映射工作。

图2 时频域编码的框架

时频序列生成器也可以采用一种覆盖所有尺度的自适应卷积架构，克服模态特征维度变换带来的参数敏感性问题。在学习过程中这个架构会自适应选择最优卷积核大小，避免过大或过小卷积核带来的时序特征表示损失和噪声问题，辅助时频序列生成对抗网络进行更好的特征学习。如图3所示，TFGAN使用的自适应卷积架构由输入数据、自动设置卷积核、拼接、激活函数和输出５个基本部分构成。卷积核的大小为１到N 的质数,卷积核的数量为１到N的质数个数，N的大小与每个频域模态特征的维度正相关。在最后一层卷积中,只有大小为１和２的卷积核,通过这种卷积架构,卷积的接受域可以覆盖所有尺度的时序样本,保证时序特征得到高效学习。

图3 自适应卷积结构示意图

时频序列生成器通过编解码方式建立了时序特征分布的映射关系，并通过网络权重共享和低维特征融合建立时序特征的时频分布关联,充分利用时序信息频域模态分布关联的同时解决参数敏感性问题,
使频域多模态时序特征得到高效学习,增强模型特征重构能力。这种时频联合学习特性，若用于轴流压气机的失速喘振时序数据建模，充分反映其频域关键特征变化，能提高建模精度，从而有效进行预警决策。

4.典型数据集应用

文献[1]将TimeGAN与多种相关的算法如RCGAN、C-RNN-GAN、RNNs改进网络进行对比，与综合WaveNet及其GAN对应的WaveGAN性能进行了多样性(样本的分布应覆盖真实数据)、保真度(样本应与真实数据无法区分)和有用性(样本应该和真实样本一样有用)等三个方面比较，体现了TimeGAN优势。在此，TFGAN也从这三方面与TimeGAN的计算结果比较。

4.1 实验数据集和比较方法

为了测试了TFGAN在不同特性时间序列数据上的性能，如周期性、趋势、噪声等。据此，选择了以下三种数据集：

(1)Stock股票数据集,通常具有较强的波动性，连续并且非周期，特征之间也有较强的关联性。数据来源于2004 到 2019 年每日的谷歌股票数据。

(2)ETT_small电力变压器数据集，该数据集包含短周期模式，长周期模式，长期趋势和大量不规则模式，其中一些特征表现出明显的长期趋势如图4。包含电力负荷、油温等特征。

(3)Exchange_Rate货币汇率数据集，该数据集具有波动性和一定的趋势性，特征之间关联性较弱。该数据集包含1990 至 2016 年澳大利亚、英国、加拿大、瑞士、中国、日本、新西兰和新加坡等8个国家的每日汇率值，共7588条数据。

图 4."油温"特征在 ETT_small 数据集总览

对三个数据集，将提出的 TFGAN模型与 TimeGAN模型进行比较。在评估方法上，模型采取和论文[1]TimeGAN一样的定性和定量的方法进行评估。
定性分析使用了T-分布随机邻近嵌入(t-SNE)和主成份分析(PCA)分析，将合成数据和原始数据映射到同一二维空间，用以基于可视化定义地分析合成数据原原始数据分布的相似度。
定量分析通过训练基于 RNN的后置鉴别器和后置预测器,用于得到鉴别分数和预测分数作为定量指标。后置鉴别器通过将原始数据标记为真实序列、合成数据标记为非真实序列，有监督地训练一个基于RNN的分类器，并在测试集上报告分类误差，以此评估合成数据的保真性。后置预测器通过在合成数据集上无监督地训练一个基于RNN 的预测模型，并用原始数据集评估其预测误差，以此评估合成数据的实用性。

4.2 实验结果

（1）采用判别性和预测性得分（Discriminative and Predictive Scores）评价两种深度学习结果得分。如表1所示，TFGAN 在除 Exchange_Rate数据集的预测性得分指标外，取得了更好的结果。具体而言，TFGAN对比TimeGAN在判别性分数上平均提升了10.88%，其中在Stock 数据集上提升幅度达 52.86%； TFGAN 对比TimeGAN在预测性分数上除Exchange_Rate 数据集平均提升了 0.38%，在数据集 Exchange_Rate上下降了20%；总体而言，TFGAN对比TimeGAN在所有指标上平均提升了7.55%，整体上性能是最优的。

表1: 不同数据集训练结果

（2）T-分布随机邻近嵌入(t-SNE)和主成份分析(PCA)分析可视化结果

（a）Stock数据集

(b)ETT_small数据集

(c) Exchange_Rate数据集

图5.TFGAN和TimeGAN方法在不同数据集上的可视化结果

如图5所示，图5(a)代表 Stock 数据集，图5(b)代表 ETT_small 数据集，图5©代表 Exchange_Rate 数据集；每个数据集第一行代表 PCA 可视化，第二行代表 t-SNE 可视化；从第一列到第二列，分别代表 TFGAN、TimeGAN 两种方法。从图 5可以看到 TFGAN 在整体上有着较其它所有对比方法更好的可视化效果，即该方法可以更好地捕获原始数据的分布。

5.结论

本文介绍的时频序列生成对抗网络TFGAN,提出了在TimeGAN框架的基础上，增加一种时频序列转化器模块，建模过程中同时评估时域和频域联合特征，并加入到目标优化函数中，提高了模型的时频特征一致性，既保持了TimeGAN建模优势，又克服其仅仅考虑时域特征，容易过拟合的劣势。TFGAN模型通过时频域联合特征一致性提升其在
GAN框架内的鉴别器的性能，由此更好地平衡生成器与鉴别器的能力。实验结果表面，TFGAN提升了建模的性能，提高了预测精度，具有很好的应用价值。

然而，上面介绍TFGAN研究成果还是初步的。实际上，时频序列转换器多种实现方案与实际问题的关系如何，还可以进行比较和深入研究；频率特征的具体应用也有多种，如利用低频特征而忽略高频特征，如同时域信号进行了滤波处理。另外TFGAN模型和原模型TimeGAN一样，都只注重时间维度的建模，而忽略空间维度的建模[9]。但现实中很多时间序列数据的特征具有高度相关性，因此引入一定的空间建模方法可能进一步提升模型性能。最后，GAN网络普遍存在着训练不稳定的问题，也值得深入研究探索改进策略或寻找更优的替代方案。

致谢

本文工作获得国家自然科学基金项目资助(62341307)，在此表示感谢！

参考文献

[1]Jinsung Yoon, Daniel J, Mihaela S. Time-series generative adversarial networks[C]//Proceedings of the 2019 Conference and Workshop on Neural Information Processing Systems. Vancouver: NeurIPS, 2019: 5508-5518.

[2]孙晨峰,吕卫民,戴洪德,张浩晨. 一种基于TimeGAN和OCSVM 的多元退化设备小子样数据增广方法[J]. 电子学报，2022，50(11):2678-2687.

[3]Xiao-Hong Qiu, Jia-Li Chen, Zi-Ying Ao. Stall Warning Algorithm of Axial Compressor Based on SSA-DBN[J].Journal of Computers ,2022,33(3): 59-71**.**

[4]Qiu Xiaohong,Wu Jiawei,Guo Chaochao,Wu Xin. Enhancing Axial Compressor Stall Warning with Time-Frequency Generative Adversarial Networks: A Novel Approach in Advanced Signal Processing[C], 2024 36th Chinese Control and Decision Conference (CCDC), Xi’an, China, 2024, pp. 3276-3283, doi: 10.1109/CCDC62350.2024.10588069.

[5]Zhang X, Zhao Z, Tsiligkaridis T, Et Al. Self-Supervised Contrastive Pre-Training For Time Series Via Time-Frequency Consistency[J]. Advances In Neural Information Processing Systems, 2022, 35: 3988-4003.

[6]Zhou H, Zhang S, Peng J, Et Al. Informer: Beyond Efficient Transformer For Long Sequence Time-Series Forecasting[C]//Proceedings Of The Aaai Conference On Artificial
Intelligence. 2021, 35(12): 11106-11115.

[7]Huang S, Liu Y. Fl-Net: A Multi-Scale Cross-Decomposition Network With Frequency External Attention For Long-Term Time Series Forecasting[J]. Knowledge-Based Systems, 2024, 288: 111473.

[]{#_bookmark35 .anchor}[8]Wang C, Zhang Z, Wang X, Et Al. Frequency-Enhanced Transformer With Symmetry-Based Lightweight Multi-Representation For Multivariate Time Series Forecasting[J]. Symmetry, 2024, 16(7): 797.

[]{#_bookmark36 .anchor}[9]Tu F F, Liu D J, Yan Z W, Et Al. Stft-Tcan: A Tcn-Attention Based Multivariate Time Series Anomaly Detection Architecture With Time-Frequency Analysis For Cyber-Industrial Systems[J]. Computers & Security, 2024, 144: 103961.6(7): 797.

[]{#_bookmark36 .anchor}[9]Tu F F, Liu D J, Yan Z W, Et Al. Stft-Tcan: A Tcn-Attention Based Multivariate Time Series Anomaly Detection Architecture With Time-Frequency Analysis For
Cyber-Industrial Systems[J]. Computers & Security, 2024, 144: 103961.