关于LSTM-FCN程序的部署与运行

已于 2022-09-15 15:45:56 修改
阅读量1.7k 收藏 18
点赞数 3
分类专栏： 深度学习 学习记录 文章标签： lstm 深度学习 机器学习
于 2022-09-15 10:35:08 首次发布
版权所有 彭祥 未经允许，禁止转载
本文链接：https://blog.csdn.net/pengxiang1998/article/details/126863614
版权

前面学习了LSTM-FCN的相关知识，现在针对该框架我们找到了一份代码资源，来通过对实现代码的解读进一步理解该模型。

实验环境

Windows10 python3.6 CUDA8.0 CuDNN5.1
GPU:GeForce GTX 960M

tensorflow-gpu>=1.2.0
keras>=2.0.4
scipy
numpy
pandas
scikit-learn>=0.18.2
h5py
matplotlib
joblib>=0.12

博主运行时使用了GPU加速，这可以大幅提高运行速度，如果没有GPU的话只需要python环境即可，只是CPU运行起来速度确实有些拉跨。当然我的显卡也很差劲，利用率直接拉满。
在这里插入图片描述

项目目录

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

代码实现

初始时我们指定选择使用GPU运行

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0,1"

构建LSTM-FCN模型

def generate_lstmfcn(MAX_SEQUENCE_LENGTH, NB_CLASS, NUM_CELLS=8):
    ip = Input(shape=(1, MAX_SEQUENCE_LENGTH))
    x = LSTM(NUM_CELLS)(ip)
#以一定概率丢弃一训练的参数，防止其过拟合
    x = Dropout(0.8)(x)#缀学层
#Permute可以同时多次交换tensor的维度
    y = Permute((2, 1))(ip)
    y = Conv1D(128, 8, padding='same', kernel_initializer='he_uniform')(y)
#批归一化 让我们的均值方差变化没有那么猛烈
    y = BatchNormalization()(y)
    y = Activation('relu')(y)
    y = Conv1D(256, 5, padding='same', kernel_initializer='he_uniform')(y)
    y = BatchNormalization()(y)
    y = Activation('relu')(y)
    y = Conv1D(128, 3, padding='same', kernel_initializer='he_uniform')(y)
    y = BatchNormalization()(y)
    y = Activation('relu')(y)
    y = GlobalAveragePooling1D()(y)
    x = concatenate([x, y])
    out = Dense(NB_CLASS, activation='softmax')(x)
    model = Model(ip, out)
    model.summary()
    # add load model code here to fine-tune
    return model

模型如下图所示：
在这里插入图片描述
区别在于这个模型中加入了注意力机制。

def generate_alstmfcn(MAX_SEQUENCE_LENGTH, NB_CLASS, NUM_CELLS=8):
    ip = Input(shape=(1, MAX_SEQUENCE_LENGTH))
    x = AttentionLSTM(NUM_CELLS)(ip)#注意力机制LSTM
    x = Dropout(0.8)(x)
    y = Permute((2, 1))(ip)
    y = Conv1D(128, 8, padding='same', kernel_initializer='he_uniform')(y)
    y = BatchNormalization()(y)
    y = Activation('relu')(y)
    y = Conv1D(256, 5, padding='same', kernel_initializer='he_uniform')(y)
    y = BatchNormalization()(y)
    y = Activation('relu')(y)
    y = Conv1D(128, 3, padding='same', kernel_initializer='he_uniform')(y)
    y = BatchNormalization()(y)
    y = Activation('relu')(y)
    y = GlobalAveragePooling1D()(y)
    x = concatenate([x, y])
    out = Dense(NB_CLASS, activation='softmax')(x)
    model = Model(ip, out)
    model.summary()
    # add load model code here to fine-tune
    return model

关于模型的具体构建都在layer-utils.py中，这里就不再赘述。
这里指定我们的数据集名称集合，在项目中为方便运行，它使用了循环来执行127个数据集，但我目前还没有成功，希望我能够后期完成吧，该文件主要用于加载数据集中使用，名称顺序与constants.py相同，内分训练集与测试集，数据读取时使用constants.py的数据集目录。

dataset_map = [

                   ('ChlorineConcentration', 2),
                   ('InsectWingbeatSound', 3),
                   ('Lighting7', 4),
                   ('Wine', 5),
                   ('WordsSynonyms', 6),
                   ('50words', 7),
                   ('Beef', 8),
                   ('DistalPhalanxOutlineAgeGroup', 9),
                   ('DistalPhalanxOutlineCorrect', 10),
                   ('DistalPhalanxTW', 11),
                   ('ECG200', 12),
                   ('ECGFiveDays', 13),
                   ('BeetleFly', 14),
                   ('BirdChicken', 15),
                   ('ItalyPowerDemand', 16),
                   ('SonyAIBORobotSurface', 17),
                   ('SonyAIBORobotSurfaceII', 18),
                   ('MiddlePhalanxOutlineAgeGroup', 19),
                   ('MiddlePhalanxOutlineCorrect', 20),
                   ('MiddlePhalanxTW', 21),
                   ('ProximalPhalanxOutlineAgeGroup', 22),
                   ('ProximalPhalanxOutlineCorrect', 23),
                   ('ProximalPhalanxTW', 24),
                   ('MoteStrain', 25),
                   ('MedicalImages', 26),
                   ('Strawberry', 27),
                   ('ToeSegmentation1', 28),
                   ('Coffee', 29),
                   ('Cricket_X', 30),
                   ('Cricket_Y', 31),
                   ('Cricket_Z', 32),
                   ('uWaveGestureLibrary_X', 33),
                   ('uWaveGestureLibrary_Y', 34),
                   ('uWaveGestureLibrary_Z', 35),
                   ('ToeSegmentation2', 36),
                   ('DiatomSizeReduction', 37),
                   ('car', 38),
                   ('CBF', 39),
                   ('CinC_ECG_torso', 40),
                   ('Computers', 41),
                   ('Earthquakes', 42),
                   ('ECG5000', 43),
                   ('ElectricDevices', 44),
                   ('FaceAll', 45),
                   ('FaceFour', 46),
                   ('FacesUCR', 47),
                   ('Fish', 48),
                   ('FordA', 49),
                   ('FordB', 50),
                   ('Gun_Point', 51),
                   ('Ham', 52),
                   ('HandOutlines', 53),
                   ('Haptics', 54),
                   ('Herring', 55),
                   ('InlineSkate', 56),
                   ('LargeKitchenAppliances', 57),
                   ('Lighting2', 58),
                   ('MALLAT', 59),
                   ('Meat', 60),
                   ('NonInvasiveFatalECG_Thorax1', 61),
                   ('NonInvasiveFatalECG_Thorax2', 62),
                   ('OliveOil', 63),
                   ('OSULeaf', 64),
                   ('PhalangesOutlinesCorrect', 65),
                   ('Phoneme', 66),
                   ('plane', 67),
                   ('RefrigerationDevices', 68),
                   ('ScreenType', 69),
                   ('ShapeletSim', 70),
                   ('ShapesAll', 71),
                   ('SmallKitchenAppliances', 72),
                   ('StarlightCurves', 73),
                   ('SwedishLeaf', 74),
                   ('Symbols', 75),
                   ('synthetic_control', 76),
                   ('Trace', 77),
                   ('Patterns', 78),
                   ('TwoLeadECG', 79),
                   ('UWaveGestureLibraryAll', 80),
                   ('wafer', 81),
                   ('Worms', 82),
                   ('WormsTwoClass', 83),
                   ('yoga', 84),
                   ('ACSF1', 85),
                   ('AllGestureWiimoteX', 86),
                   ('AllGestureWiimoteY', 87),
                   ('AllGestureWiimoteZ', 88),
                   ('BME', 89),
                   ('Chinatown', 90),
                   ('Crop', 91),
                   ('DodgerLoopDay', 92),
                   ('DodgerLoopGame', 93),
                   ('DodgerLoopWeekend', 94),
                   ('EOGHorizontalSignal', 95),
                   ('EOGVerticalSignal', 96),
                   ('EthanolLevel', 97),
                   ('FreezerRegularTrain', 98),
                   ('FreezerSmallTrain', 99),
                   ('Fungi', 100),
                   ('GestureMidAirD1', 101),
                   ('GestureMidAirD2', 102),
                   ('GestureMidAirD3', 103),
                   ('GesturePebbleZ1', 104),
                   ('GesturePebbleZ2', 105),
                   ('GunPointAgeSpan', 106),
                   ('GunPointMaleVersusFemale', 107),
                   ('GunPointOldVersusYoung', 108),
                   ('HouseTwenty', 109),
                   ('InsectEPGRegularTrain', 110),
                   ('InsectEPGSmallTrain', 111),
                   ('MelbournePedestrian', 112),
                   ('MixedShapesRegularTrain', 113),
                   ('MixedShapesSmallTrain', 114),
                   ('PickupGestureWiimoteZ', 115),
                   ('PigAirwayPressure', 116),
                   ('PigArtPressure', 117),
                   ('PigCVP', 118),
                   ('PLAID', 119),
                   ('PowerCons', 120),
                   ('Rock', 121),
                   ('SemgHandGenderCh2', 122),
                   ('SemgHandMovementCh2', 123),
                   ('SemgHandSubjectCh2', 124),
                   ('ShakeGestureWiimoteZ', 125),
                   ('SmoothSubspace', 126),
                   ('UMD', 127)
                   ]

下面是具体实现的伪代码：

MODELS = [
        ('lstmfcn', generate_lstmfcn),
        ('alstmfcn', generate_alstmfcn),
    ]#指定两个模型
for model_id, (MODEL_NAME, model_fn) in enumerate(MODELS):#两个模型循环调用
	if not os.path.exists()#判断记录文件是否存在并打开准备写入;
	for dname, did in dataset_map:#循环数据集目录开始读取数据集
		load_data()#加载数据并完成预处理
		train_model()#训练模型
		evaluate_model()#评估模型
		写入实验结果;
关闭文件
画图

实验结果

dataset_id,dataset_name,dataset_name_,test_accuracy
0,Adiac,lstmfcn_8_cells_weights/Adiac,0.849105
1,ArrowHead,lstmfcn_8_cells_weights/ArrowHead,0.822857
2,data/ChlorineConcentration,lstmfcn_8_cells_weights/ChlorineConcentration,0.821354

存在问题

  • 循环使用数据集仍未解决
  • InsectWingbeatSound数据集存在过拟合问题，目前在考虑是模型问题还是数据集划分问题，正在调参中。过拟合如图所示：
    出现过拟合问题，训练集准确性达到100%,但测试集最高到达46%后又从0开始上升到10%,经典的过拟合问题，开始啥都不会，后来随着学习逐渐
    掌握并朝着好的方向发展，但却开始一些细枝末节的学习，导致准确性下降

在这里插入图片描述

彭祥.
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
MLSTM-FCN: 基于深度学习的序列预测与图像分割框架
gitblog_00039的博客
04-18 349
MLSTM-FCN: 基于深度学习的序列预测与图像分割框架 项目地址:https://gitcode.com/titu1994/MLSTM-FCN 项目简介 MLSTM-FCN 是一个基于深度学习的模型，结合了长短期记忆网络（LSTM）和全卷积网络（FCN），专为时间序列预测和图像分割任务设计。该项目由 Titu1994 创建并维护，提供了一个强大而灵活的工具，用于解决涉及连续数据预测和像素...
MLSTM-FCN：用于时间序列分类的多元LSTM全卷积网络
02-06
用于时间序列分类的多元LSTM-FCN MLSTM FCN模型（来自 FCN）使用最新的单变量时间序列模型（来自的最新的单变量时间序列模型，LSTM-FCN和ALSTM-FCN来增强挤压和激励块。 对于LSTM-FCN和ALSTM-FCN模型的代码可以在这里找到 。 安装 下载存储库并应用pip install -r requirements.txt安装所需的库。 具有Tensorflow后端的Keras已用于开发模型，并且目前不支持Theano或CNTK后端。 权重尚未通过这些后端进行测试。 注意：所有模型的“输入”层的输入都将被预先混洗为形状（“批量大小”，“变量数”，“时间步数”）
基于LSTM+FCN处理多变量时间序列问题记录
pengxiang1998的博客
09-08 3512
本文将现有的单变量时间序列分类模型即长短时记忆全卷积网络(LSTM-FCN)和注意力LSTM-FCN(ALSTM-FCN)转换为多变量时间序列分类模型，通过在全卷积块上增加一个 Squeeze-and-Excitation Block来进一步提高分类精度。下面是文档阅读和程序运行时积累的相关笔记。
基于LSTM+FCN处理多变量时间序列问题记录（二）
pengxiang1998的博客
09-10 1761
与LSTM-FCN和ALSTM-FCN相同，该模型包含一个全卷积块和一个LSTM块，如下图所描述的。全卷积块包含三个时间卷积块，作为一个特征提取器，它最早作为初始全卷积块被人提出。这个卷积块包含一个卷积层，其过滤器数量分别为128，256，128，其卷积核大小分别为8，5，3。每个卷积层后紧跟着为批次归一化，归一化完成后使用ReLU激活函数。此外，在前两个卷积块中还紧跟一个挤压-激活块，这是该模型之所以区别于LSTM-FCN和ALSTM-FCN。
时间序列预测——LSTM模型（附代码实现）
热门推荐
JJJAY
05-14 8万+
长短时记忆网络（ Long short-term memory，LSTM ）是一种循环神经网络 (Recurrent neural network, RNN)的特殊变体。
【onnxruntime推理】LSTM时序预测模型（含多输入）C++部署（CMake编译）
qq_40734883的博客
12-07 1032
本文主要介绍在linux开发环境中如何使用C++和Cmake对LSTM进行部署推理。之所以不在vscode等编译软件上直接进行设置，是因为笔者认为CMake更好，可以编辑对应的语法，也可以避免路径设置（CMake直接传入指定路径）等相关问题。
使用Mindspore Lite端到端部署LSTM
weixin_45666880的博客
04-19 2000
本文档介绍如何把pytorch训练的LSTM网络转换成mindspore Lite支持的ms模型，并实现手机端的推理。 1.pytorch搭建网络 从mindspore Lite官网中的算子支持列表中发现，如果模型中用到了LSTM算子，只能从onnx转ms，目前主流的网络都是用pytorch框架训练，因此我们先用pytorch搭建LSTM模型，再调用torch.onnx把模型转换成onnx。 我们用LSTM搭建一个简单的分类网络模型，第一层是LSTM层，后续是两个全连接层，其网络结构用pytorc
PyTorch搭建LSTM实现多变量输入多变量输出时间序列预测（多任务学习）
KI的博客
06-12 2万+
PyTorch搭建LSTM实现多变量输入多变量输出时间序列预测
基于Mixup数据增强的LSTM-FCN时间序列分类.docx
02-23
"基于Mixup数据增强的LSTM-FCN时间序列分类" 时间序列分类是一项重要且具有挑战性的任务，旨在对时间序列数据进行分类以指导生产生活中的决策。近年来，深度学习技术在计算机视觉和自然语言处理等领域取得了极大的...
LSTM-FCN将模型中的fcn分支换成Transformer LSTM-Transformer
04-01
2.数据集 班组1：label1人员数量为12 班组2：label1人员数量为25 3.研究目标 （1）不均衡数据，label0人员数量远大于label1...②多元时序分类LSTM-FCN https://github.com/titu1994/MLSTM-FCN 改进模型：将模型中的
MALSTM-FCN_TensorflowKeras2:MALSTM-FCN基本实现
03-10
MALSTM-FCN_TensorflowKeras2 MALSTM-FCN基本实现 这是MALSTM-FCN的Tensorflow2实现，用于时间序列分类。 可在作者的存储库网页上找到与Tensorflow1和Keras兼容的原始存储库： : 请参考上面的网页以获取有关模型的说明以及原始论文的链接。
GA优化LSTM网络.zip
03-14
用遗传算法优化对LSTM网络的层数及每层的神经元数进行优化，包括一个LSTM程序和一个GA程序，运行时只运行GA.py即可。
机器学习模型部署的两种方式
04-29
机器学习模型部署的两种方式 ,There are two very different ways to deploy ML models。
一种并行LSTM-FCN模型在船舶航迹预测中的应用.pdf
12-22
并行LSTM-FCN模型在船舶航迹预测中的应用 本文提出了一种并行LSTM-FCN（Parallel LSTM-FCN，PLSTM-FCN）模型，用于船舶航迹预测。该模型结合了长短期记忆（LSTM）模型和全卷积网络（FCN）模型的优势，实现了高维...
CNN-TCN-BiLSTM-Attention异常检测（Python完整源码)
12-15
CNN_TCN_BiLSTM_Attention异常检测（Python完整源码) CNN_TCN_BiLSTM_Attention异常检测（Python完整源码) CNN_TCN_BiLSTM_Attention异常检测（Python完整源码) CNN_TCN_BiLSTM_Attention异常检测（Python完整...
[机器学习]循环神经网络
RegulusF的博客
03-24 3654
1.RNN 原始的循环神经网络，本质是全连接网络，输入分为两个部分，分别为上一层的输出以及本层的输入。 网络中维护三个参数，本层输入的权重W，上层输出的权重U以及偏置b。 优点： 1.RNN很适合处理序列数据，因为考虑了之前的信息。 2.可以和CNN一起使用得到更好的效果。 缺点： 1.由于在训练过程中W，U和b是同一组参数，容易出现梯度爆炸或者梯度消失的情况。 2.RNN相较于其他CNN和全连接需要更多的显存空间，更难训练。 3.如果使用tanh、relu作为激活函数，没办法处理太长的序列。 2.LST
pytorch中lstm用法详解（二）
m0_37347812的博客
03-26 430
这篇博客中主要讲的是lsm中各个输出的具体详解： 其中要注意的几点： 1.lstm分为实例模型和运行模型， 注意实例模型和运行模型的输入输出 参考：实例模型和运行模型的参数注意点 2.lstm运行模型输入输出的注意点，比如输入参数的第一维度batch_size默认写到中间等 参考：实例模型运行参数注意点 参数注意点 3.输出参数的含义，每一层输出格式指的是什么。 比如：output指的是最后一层所有隐藏层的输出 hn指的是所有层数最后一个隐藏层的输出。 参考：lstm的输出格式 ...
Python import theano 运行LSTM官方例子
The Dawn
12-02 4949
LSTM网络进行情感分析 本教程旨在 Theano 中实现 循环神经网络（RNN）的 长短时记忆模型（LSTM）。  在本教程中，此模型用于对来自电影评论大数据集（有时称为IMDB数据集）的电影评论执行情绪分析。 在这个任务中，给定电影评论，模型尝试预测它是正面还是负面。  这是一个二进制分类任务。 1、本文目的： win8.1 64bit 下 运行LSTM官方例子
【MATLAB第2期】源码分享#基于LSTM时间序列单步预测，含验证和预测未来
随风飘摇的土木狗的博客
09-28 9499
样本标准化处理，其中，前85个数据作为训练样本，来验证后7个数据效果。%85数据训练 ，7个用来验证。根据训练效果RMSE误差图以及损失图，可在运行时降低训练次数，如设置为300，加快收敛。单列数据，2018/10~2018/12 共三个月，92个数据。训练集数据的RMSE为：3380.5039。验证集数据的RMSE为：3862.0957。验证集数据的MAE为：3277.468。验证集数据的MAPE为：0.31752。
LSTM-FCN程序的运行
最新发布
05-15
LSTM-FCN 是一种深度学习模型，结合了长短期记忆网络（LSTM）和卷积神经网络（CNN）的优点，用于时间序列数据的分类和预测。其程序的运行可以分为以下几个步骤： 1. 数据预处理：将原始数据进行清洗、归一化等处理，使其符合模型的输入格式。 2. 模型构建：搭建 LSTM-FCN 模型的网络结构，包括 LSTM 层、卷积层、全连接层等。 3. 模型训练：利用训练数据对模型进行训练，调整模型参数以达到最优分类效果。 4. 模型测试：使用测试数据对训练好的模型进行测试，评估模型的分类性能。 5. 模型应用：将训练好的模型应用到实际数据中，进行分类或预测。 具体运行时，可以通过编写相应的 Python 代码来实现上述步骤。一般来说，需要使用深度学习框架（如 TensorFlow 或 PyTorch）来实现模型构建和训练，并使用相应的库（如 NumPy 或 Pandas）来进行数据处理和结果展示。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

彭祥.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值