小嘤熊的博客

在自然语言处理（NLP）领域，传统的加性注意力机制通过元素乘法而非点积来捕捉令牌间的成对交互，以获取全局上下文信息。这种机制依赖于三个关键的注意力分量——查询（Q）、键（K）和值（V）——来编码输入序列中上下文信息的相关性得分。这种方法被称为有效的附加注意力，它不仅提高了推理速度，而且生成了更强大、更丰富的上下文表示。在传统的RNN中，由于梯度消失的问题，网络往往难以捕捉序列中的长期依赖关系。它们中的每一个都包含 2016 年 7 月至 2018 年 7 月的七种石油和电力变压器的负载特征。

文章的ModernTCN能够获得比以往基于卷积的方法更大的ERF。Groups是群组卷积中的组数。ModernTCN，一种现代纯卷积结构，它在多个主流时间序列分析任务上取得了与最先进的基于Transformer和MLP的模型相媲美的性能，同时保持了卷积模型的效率优势。：通过使用大核心尺寸而不是堆叠更多小核心，ModernTCN显著扩大了ERF，这有助于更好地捕捉时间序列数据中的长期依赖性。借鉴了Transformer中的架构设计，ModernTCN采用了深度卷积和逐点卷积的组合，以提高模型的表示能力。

TCN用于捕捉时间序列中的长期依赖性，而GRU层则帮助模型理解序列的动态变化，注意力机制则进一步提升了模型对关键特征的关注度。TCN模块包括卷积层、批标准化层和Dropout层，并利用残差连接来保留有用的信息。注意力模块通过对序列数据进行加权处理，进一步提高了模型对时间序列中重要特征的关注度。在测试集上进行预测后，我们计算了模型的评价指标，包括R²、均方根误差（RMSE）和平均绝对误差（MAE），并将预测结果与真实值进行了可视化对比。适合各种时间序列预测时间序列预测。2.多时间步预测，单时间步预测。

在我们的模型中，我们使用了Transformer编码器来提取输入序列中的特征。Transformer的核心优势在于其自注意力机制，能够捕捉序列中不同位置之间的依赖关系。在我们的模型中，LSTM解码器负责根据Transformer编码器提取的特征进行预测。单输入单输出预测，适合风电预测，功率预测，负荷预测等等。由于Transformer本身不具备处理序列位置信息的能力，我们使用了位置编码来为每个输入数据点添加位置信息。此外，我们还绘制了预测结果与真实值的对比图，以直观展示模型的预测性能。

在模型评估阶段，我们将测试集的数据输入训练好的模型，得到预测结果。我们使用均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R²）等指标评估模型性能。接着，通过设置历史步长和未来预测步长，生成适用于训练和测试的数据集。在训练过程中，每隔10个epoch打印一次损失，以监控模型的训练情况。本文将介绍一种基于Transformer和BiGRU（双向门控循环单元）的混合模型及其在时间序列预测中的应用。本模特适用于多输入单输出预测，适合风电预测，功率预测，负荷预测等等。

卷积结束后，由于padding 的原因，卷积之后的新数据尺寸BB会大于输入数据的尺寸A，因此只保留输出数据中的前面A个数据。另外，TCN中并不是每次卷积都会扩大一倍的 dilation，而是每两次扩大一倍的 dilation。我们的目标是预测 amount（金额），这对于股票交易和投资决策至关重要。卷积 + 修改数据尺寸 + ReLU + Dropout。卷积 + 修改数据尺寸 + ReLU + Dropout。pre_close（前收盘价）volume（成交量）close（收盘价）amount（金额）