LSTM+attention

最新推荐文章于 2024-06-05 08:02:06 发布
最新推荐文章于 2024-06-05 08:02:06 发布
阅读量8.6k 收藏 63
点赞数 4
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33932782/article/details/117792023
版权

数据集
纳斯达克100

模型原理
模型代码

class Attention(Layer):
    def __init__(self, step_dim,
                 W_regularizer=None, b_regularizer=None,
                 W_constraint=None, b_constraint=None,
                 bias=True, **kwargs):
        self.supports_masking = True
        self.init = tf.keras.initializers.get('glorot_uniform')
        # W_regularizer: 权重上的正则化
        # b_regularizer: 偏置项的正则化
        self.W_regularizer = tf.keras.regularizers.get(W_regularizer)
        self.b_regularizer = tf.keras.regularizers.get(b_regularizer)
        # W_constraint: 权重上的约束项
        # b_constraint: 偏置上的约束项
        self.W_constraint = tf.keras.constraints.get(W_constraint)
        self.b_constraint = tf.keras.constraints.get(b_constraint)
 
        self.bias = bias
        self.step_dim = step_dim
        self.features_dim = 0
        super(Attention, self).__init__(**kwargs)
 
    def build(self, input_shape):
        assert len(input_shape) == 3
 
        self.W = self.add_weight(shape=(input_shape[-1],),
                                 initializer=self.init,
                                 name='{}_W'.format(self.name),
                                 regularizer=self.W_regularizer,
                                 constraint=self.W_constraint)
        self.features_dim = input_shape[-1]
 
        if self.bias:
            self.b = self.add_weight(shape=(input_shape[1],),
                                     initializer='zero',
                                     name='{}_b'.format(self.name),
                                     regularizer=self.b_regularizer,
                                     constraint=self.b_constraint)
        else:
            self.b = None
 
        self.built = True
 
    def compute_mask(self, input, input_mask=None):
        return None
 
    def get_config(self):
        config = super().get_config().copy()
        config.update({
            'step_dim': self.step_dim,
            'W_regularizer': self.W_regularizer,
            'b_regularizer': self.b_regularizer,
            'W_constraint': self.W_constraint,
            'b_constraint': self.b_constraint,
            'bias': self.bias,
        })
        return config
 
    def call(self, x, mask=None):
        features_dim = self.features_dim
        step_dim = self.step_dim
 
        eij = K.reshape(K.dot(K.reshape(x, (-1, features_dim)),
                              K.reshape(self.W, (features_dim, 1))), (-1, step_dim))
 
        if self.bias:
            eij += self.b
 
        eij = K.tanh(eij)
 
        a = K.exp(eij)
 
        '''
        keras.backend.cast(x, dtype): 将张量转换到不同的 dtype 并返回
        '''
        if mask is not None:
            a *= K.cast(mask, K.floatx())
 
        '''
        keras.backend.epsilon(): 返回浮点数
        '''
        a /= K.cast(K.sum(a, axis=1, keepdims=True) + K.epsilon(), K.floatx())
 
        a = K.expand_dims(a)
        weighted_input = x * a
 
        return K.sum(weighted_input, axis=1)
 
    def compute_output_shape(self, input_shape):
        return input_shape[0], self.features_dim
完整代码

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import tensorflow as tf
import tensorflow.keras.backend as K
from sklearn.preprocessing import MinMaxScaler
from tensorflow.keras.callbacks import *
from tensorflow.keras.initializers import *
from tensorflow.keras.layers import *
from tensorflow.keras.models import *
from tensorflow.python.keras.layers import Layer
 
file_path = "/Users/Arithmetic/pythonProject/lstm+attention/nasdaq100_padding.csv"
 
df = pd.read_csv(file_path)
 
plt.figure()
plt.plot(range(df.shape[0]), (df['NDX']))
plt.xlabel('time', fontsize=18)
plt.ylabel('NDX', fontsize=18)
plt.show()
 
BATCH_SIZE = 128
EPOCHS = 3
SEQ_LEN = 10
FUTURE_PERIOD_PREDICT = 1
RATIO_TO_PREDICT = "NDX"
targ_cols = ("NDX",)
 
 
# 归一化，划分feature target
def preprocess_data(dat, col_names):
    scale = MinMaxScaler().fit(dat)
    proc_dat = scale.transform(dat)
 
    mask = np.ones(proc_dat.shape[1], dtype=bool)
    dat_cols = list(dat.columns)
    for col_name in col_names:
        mask[dat_cols.index(col_name)] = False
 
    feats = proc_dat[:, mask]
    targs = proc_dat[:, ~mask]
 
    return feats, targs
 
 
# 把数据切分成80%训练集、20%测试集
def split_data(data, percent_train=0.70):
    num_rows = len(data)
    train_data, test_data = [], []
    for idx, row in enumerate(data):
        if idx < num_rows * percent_train:
            train_data.append(row)
        else:
            test_data.append(row)
    return np.array(train_data), np.array(test_data)
 
 
data_X, data_y = preprocess_data(df, targ_cols)
print(data_X.shape,data_y.shape)
all_data = np.concatenate([data_X, data_y], axis=1)
print(all_data.shape)
 
train_, test_ = split_data(all_data)
print("train shape {0}".format(train_.shape))
print("test shape {0}".format(test_.shape))
 
 
def timestamp_data(data):
    X = []
    Y = []
    for i in range(SEQ_LEN, len(data)-FUTURE_PERIOD_PREDICT+1):
        X.append(data[i-SEQ_LEN:i, :data_X.shape[1]])  # 含左不含右
        Y.append(data[i+(FUTURE_PERIOD_PREDICT-1), data_X.shape[1]])
    return np.array(X), np.array(Y)
 
X_train, y_train = timestamp_data(train_)
print('X_train', X_train.shape,'y_train', y_train.shape)
X_test, y_test = timestamp_data(test_)
 
X_train = np.reshape(X_train, (X_train.shape[0], X_train.shape[1], data_X.shape[1]))
X_test = np.reshape(X_test, (X_test.shape[0], X_test.shape[1], data_X.shape[1]))
 
print("train shape {0}".format(X_train.shape))
# print("valid shape {0}".format(X_valid.shape))
print("test shape {0}".format(X_test.shape))
 
 
class Attention(Layer):
    def __init__(self, step_dim,
                 W_regularizer=None, b_regularizer=None,
                 W_constraint=None, b_constraint=None,
                 bias=True, **kwargs):
        self.supports_masking = True
        self.init = tf.keras.initializers.get('glorot_uniform')
        # W_regularizer: 权重上的正则化
        # b_regularizer: 偏置项的正则化
        self.W_regularizer = tf.keras.regularizers.get(W_regularizer)
        self.b_regularizer = tf.keras.regularizers.get(b_regularizer)
        # W_constraint: 权重上的约束项
        # b_constraint: 偏置上的约束项
        self.W_constraint = tf.keras.constraints.get(W_constraint)
        self.b_constraint = tf.keras.constraints.get(b_constraint)
 
        self.bias = bias
        self.step_dim = step_dim
        self.features_dim = 0
        super(Attention, self).__init__(**kwargs)
 
    def build(self, input_shape):
        assert len(input_shape) == 3
 
        self.W = self.add_weight(shape=(input_shape[-1],),
                                 initializer=self.init,
                                 name='{}_W'.format(self.name),
                                 regularizer=self.W_regularizer,
                                 constraint=self.W_constraint)
        self.features_dim = input_shape[-1]
 
        if self.bias:
                    self.b = self.add_weight(shape=(input_shape[1],),
                                     initializer='zero',
                                     name='{}_b'.format(self.name),
                                     regularizer=self.b_regularizer,
                                     constraint=self.b_constraint)
        else:
            self.b = None
 
        self.built = True
 
    def compute_mask(self, input, input_mask=None):
        return None
 
    def call(self, x, mask=None):
        features_dim = self.features_dim
        step_dim = self.step_dim
 
        eij = K.reshape(K.dot(K.reshape(x, (-1, features_dim)),
                              K.reshape(self.W, (features_dim, 1))), (-1, step_dim))
 
        if self.bias:
            eij += self.b
 
        eij = K.tanh(eij)
 
        a = K.exp(eij)
 
        '''
        keras.backend.cast(x, dtype): 将张量转换到不同的 dtype 并返回
        '''
        if mask is not None:
            a *= K.cast(mask, K.floatx())
 
        '''
        keras.backend.epsilon(): 返回浮点数
        '''
        a /= K.cast(K.sum(a, axis=1, keepdims=True) + K.epsilon()   , K.floatx())
 
        a = K.expand_dims(a)
        weighted_input = x * a
 
        return K.sum(weighted_input, axis=1)
 
    def compute_output_shape(self, input_shape):
        return input_shape[0], self.features_dim
 
 
inp = Input(shape=(SEQ_LEN, data_X.shape[1]))
x = GRU(256, return_sequences=True)(inp)
x = Dropout(0.2)(x)
x = BatchNormalization()(x)
x = Attention(SEQ_LEN)(x)
x = Dense(32, activation="relu")(x)
x = Dropout(0.2)(x)
x = Dense(1, activation="relu")(x)
model_lstm_attention = tf.keras.Model(inputs=inp, outputs=x)
model_lstm_attention.compile(loss='mean_squared_error', optimizer='adam')
model_lstm_attention.summary()
 
earlyStopping = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=10, verbose=1, mode='auto')
 
tf.keras.utils.plot_model(model_lstm_attention,
                          to_file="model_lstm_attention.png",
                          show_shapes=True)
 
model_lstm_attention.fit(X_train, y_train,
                    batch_size=BATCH_SIZE,
                    epochs=EPOCHS,
                    validation_data=(X_test, y_test))
 
# model_lstm_attention.save('lstm+gru.h5')
 
predicted_LSTM_Att = model_lstm_attention.predict(X_test)
 
#绘图
plt.plot(list(range(X_test.shape[0])), y_test, label='True')
plt.plot(list(predicted_LSTM_Att), label='Predicted Test')
plt.title('ffmpeg-power')
plt.xlabel('DateTime')
plt.ylabel('power')
plt.legend()
plt.savefig("/Users/Arithmetic/pythonProject/lstm+attention/result_pics/lstm+attention_nasdaq_epoch{0}.png".format(EPOCHS))
plt.show()
结果图

沐阳zz
关注
  • 4
    点赞
  • 踩
  • 63
    收藏
    觉得还不错? 一键收藏
  • 18
    评论
专栏目录
cnn+lstm+attention对时序数据进行预测
02-18
cnn+lstm+attention对时序数据进行预测 博客链接： https://blog.csdn.net/qq_30803353/article/details/121875376 1、摘要 本文主要讲解：bilstm-cnn-attention对时序数据进行预测 主要思路： 对时序数据进行分块，...
回归预测 | MATLAB实现CNN-GRU-Attention多输入单输出回归预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
03-24 2691
回归预测 | MATLAB实现CNN-GRU-Attention多输入单输出回归预测
一看就懂的LSTM+Attention，此处用softmax求概率
qq_33328642的博客
08-23 2万+
1。 序言 首先呢，我是看这两篇片文章的。但是呢，他们一个写的很笼统，一个是根据Encoder-Decoder和Query(key,value)。第二个讲的太深奥了，绕来绕去，看了两天才知道他的想法。 https://segmentfault.com/a/1190000014574524 这个是讲的很笼统的 https://blog.csdn.net/qq_40027052/article/details/78421155 这个是讲的太深奥的。 本文 的一些基础知识还是基于第二个博客展开。但是我通
【实战经验】基于CNN-LSTM-Attention的多变量时间序列预测(Matlab语言)：0.联系三个都发 ，基于CNN-LSTM-Attention的多变量时间序列预测方法及Matlab实现
最新发布
PeDkTdmtIYA的博客
06-05 935
摘要：本文基于卷积神经网络 (CNN)、长短期记忆网络 (LSTM)和注意力机制构建了一个用于多变量时间序列预测的模型。然而，需要注意的是，模型仅提供了数据集精度的衡量方法，无法保证替换数据就一定能得到满意的结果。本文基于CNN-LSTM-Attention模型实现了多变量时间序列预测，并提供了注释清晰、适合新手小白使用的Matlab代码和测试数据。然而，需要注意的是，模型仅提供了数据集精度的衡量方法，无法保证替换数据就一定能得到满意的结果。我们提供了附赠的测试数据，并给出了输入数据的格式示例。
Attention+GRU
沐阳的博客
06-25 7309
数据集 纳斯达克100 模型原理 模型代码 class Attention(Layer): def __init__(self, step_dim, W_regularizer=None, b_regularizer=None, W_constraint=None, b_constraint=None, bias=True, **kwargs): self.suppor...
深度学习_用LSTM+Attention与Self-Attention
大道至简
10-23 3650
笔者在重新尝试用深度学习的各个模型对序列进行预测，就LSTM进行一些使用记录。
时序预测中Attention机制是否真的有效？盘点LSTM/RNN中24种Attention机制+效果对比
KI的博客
05-26 9505
时序预测中Attention机制是否真的有效？盘点LSTM/RNN中24种Attention机制+效果对比
LSTM+attention代码原理详解
重剑无锋博客
06-30 2万+
class lstm(torch.nn.Module): def __init__(self, output_size, hidden_size, embed_dim, sequence_length): super(lstm, self).__init__() self.output_size = output_size self.hidden_size = hidden_size #对应特征维度 self.embed
基于CNN+LSTM+attention的分布式光伏预测项目源码（高分项目）.zip
03-04
基于CNN+LSTM+attention的分布式光伏预测项目源码（高分项目）.zip 基于CNN（卷积神经网络）+ LSTM（长短期记忆）+ Attention（注意力机制）的分布式光伏预测项目源码是一个结合了深度学习和时间序列分析技术的复杂...
word2vec/fastText+BiLSTM、TextCNN、CNN+BiLSTM、BiLSTM+Attention情感分类
12-11
主要功能：数据清洗、文本特征提取(word2vec / fastText)、建立模型（BiLSTM、TextCNN、CNN+BiLSTM、BiLSTM+Attention） 注：资源内包含所有第三方模块的对应版本，百分百可运行，诚信。 博客链接：...
基于CNN+LSTM+attention的分布式光伏预测项目源码.zip
03-04
基于CNN+LSTM+attention的分布式光伏预测项目源码.zip基于CNN+LSTM+attention的分布式光伏预测项目源码.zip基于CNN+LSTM+attention的分布式光伏预测项目源码.zip基于CNN+LSTM+attention的分布式光伏预测项目源码.zip...
基于torch实现cnn+lstm+attention 模型时间序列预测 代码模板 通用
04-17
基于torch实现cnn+lstm+attention 模型时间序列预测代码模板 通用
基于LSTM+Attention和RNN实现抖音虚假信息识别详解--从数据获取到模型搭建训练
weixin_45897172的博客
04-24 3032
LSTM-Attention模型是一种经典的自然语言处理深度学习模型，它相比于传统的循环神经网络模型和卷积神经网络模型具有更好的效果。在自然语言处理任务中，LSTM-Attention模型利用长短时记忆网络（LSTM）来捕捉句子中的语义信息，并采用自注意力机制（Attention）来增强模型的表征能力，使得模型能够更好地理解文本，并且具有更好的并行性和更快的训练速度。与其他模型相比，LSTM-Attention模型在自然语言处理领域具有显著的优势。
Attention机制小结
一只勤奋的汤姆猫
08-02 1341
Attention机制的引入源于RNN序列结构对长序列建模梯度消失的问题，通过引入注意力机制可以使模型在训练时只关注于关系最密切的上下文信息，而非整个序列。如下图： 可以结合对Transformer的理解来看Attention机制，主要是分为以下几步： 第一步：计算Key和Query，和它们之间的相似性度量，得到s 第二步：将相似性度量s进行softmax归一化操作，得到权值a 第三步：将权值a与值Value进行加权求和 ...
【深度学习】 基于Keras的Attention机制代码实现及剖析——LSTM+Attention
热门推荐
乐川大佛的博客
12-11 5万+
说明 大部分代码来源于网上，但网上的代码一下子可能难以入门或因版本原因报错，此处整理后进行详细分析。   参考的代码来源1：Attention mechanism Implementation for Keras.网上大部分代码都源于此，直接使用时注意Keras版本，若版本不对应，在merge处会报错，解决办法为：导入Multiply层并将attention_dense.py第17行的： att...
基于 GRU-Attention 的中文文本分类学习记录
pengxiang1998的博客
09-28 4474
可以看到，这里的遗忘 zt 和选择 1-zt 是联动的，也就是说，对于传递进来的维度信息，会进行选择性遗忘，则遗忘所占的权重 zt，就会使用包含当前输入的 ht 中所对应的权重进行弥补（1-zt），以维持一种恒定状态。进行中文新闻文本分类实验，用来说明注意力机制对文本分类结果的影响，然后在同样的数据集上使用传统的机器学习方法，包括支持向量机（SVM）、朴素贝叶斯（NB），并与前面的深度学习模型的分类效果做对比，来说明采用 GRU 深度学习模型的优势。，a i，进一步提取文本特征，突出文本的关键词语。
LSTM+注意力机制(Attention)实现时间序列预测(PyTorch版)
sybh的博客
10-04 1466
一、基于PyTorch搭建LSTM+注意力机制(Attention)模型实现风速时间序列预测 上一篇文章我们讲解的是如何基于注意力机制Attention来实现风速预测，对于结果来说并不是很好，因为对于时序数据来讲单纯考虑权重信息来说还是不够的，缺少了LSTM这类网络提取的时序信息，也就是注意力机制提取时序信息能力相对较差（这里说的是单层自注意力机制模块，目前Transformer、Bert这种大模型已经处理的很好）。 所以本项目为了提高模型效果，提出了一些改进，就是将LSTM引入上篇文章单纯采用的注意力
【故障诊断】基于长短时记忆神经网络结合注意力机制LSTM-Attention实现故障诊断附matlab代码
m0_60703264的博客
04-09 784
本文提出了一种基于长短时记忆神经网络（LSTM）结合注意力机制（Attention）的故障诊断方法。该方法利用LSTM网络对时序数据进行建模，并通过注意力机制关注故障特征，从而提高故障诊断的准确性。
LSTM+Attention
10-16
LSTM+Attention是一种常用的神经网络模型，它结合了LSTM和Attention机制，可以用于序列数据的建模和处理。LSTM可以有效地处理序列数据中的长期依赖关系，而Attention机制可以帮助模型更好地关注重要的信息。 在LSTM...
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值