华南技术栈CNN+Bilstm+Attention

已于 2022-07-07 09:45:22 修改
阅读量2.3k 收藏 17
点赞数 2
分类专栏： python 教育技术 人生感悟 文章标签： cnn 自然语言处理 机器学习
于 2022-07-05 17:42:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41517071/article/details/124991167
版权
python 同时被 3 个专栏收录
70 篇文章 3 订阅
订阅专栏
教育技术
62 篇文章 11 订阅
订阅专栏
人生感悟
26 篇文章 3 订阅
订阅专栏

我的目标适用于文本分类，
这里有一个 技术栈完全一样但是目标不一样的应该可以参考

现在的情况

2022年7月6日21:16:04已解决 换成了CPU 因为电脑太破旧了。cuda跟不上pytorch官网。

已安装 cuda cudnn anaconda pycharm

cuda 9.0对应的cudnn已经安装，对应的python是3.7和以下

尝试过anaconda添加源 创建新环境创建不了

目标：配置Win10下 的pytorch
下面是自己两天的努力过程和报错：
希望得到指点！！

基本介绍
bilstm介绍：（用的是微信登录）

实现代码
attention介绍
bert层 （大部分来源于cbow）
做预训练，
一个很不错的bert讲解

该博主 bert+cnn也给了代码

该博主的代码几乎和这个是一样的，讲解有差别，可以参考着看互为补充
包括attention 机制，
总之该博主是个宝藏博主 ，
txt和CSV 的区别，
（不是很清楚。。）
对txt进行数据划分

训练的时候 好像还要用 cuda

我自己安装的9.1版本的。对应的python是3.7 以及以下。

然后验证一下 算是安装好了。
在这里插入图片描述
安装完还是用不了。
找了个不用GPU的方法
当然我肯定想用，，先试试再debug
于是第二天再找，注意版本对应关系。
艹。。显卡原因。最低的cuda都是10.2.。。离谱，还是用CPU试试吧。
在这里插入图片描述

纯纯看不起9.1的人哇。。

最终采取anaconda路线来搞定环境问题

装就完事了 其实还挺好用（这个好处是顺带自带了 动手学深度学习李沐那个记事本，应该可以用）
然后完美的搭建方案应该是这个，步骤靠谱
然后卸载重装cuda
这个是重装 比较细致的教程

pycharm安装torch和cuda（在anaconda创建的新环境下）

cudnn下载需要密码，账号邮箱89，密码Szy73041
这是我的cuda版本对应的cudnn
在这里插入图片描述
完成下载之后解压放到对应文件夹。分别对应的复制进去文件夹，相当于是一个补充的作用。
验证：

win+R，cmd打开命令窗，输入： cd /d C:\Program Files\NVIDIA GPU Computing
Toolkit\CUDA\v11.3\extras\demo_suite 回车切换路径 输入：bandwidthTest.exe
显示PASS则安装成功 输入：deviceQuery.exe 显示PASS，则cuda和cudnn均安装成功。

两个pass。。。。真的泪目，，，应该是安装成功了，
在这里插入图片描述
这一篇完美解释了anaconda环境导入到pycharm
主要是查看anaconda配置python目录的位置，但是我觉得不需要那么麻烦好像。
一会直接看看在他最后的目录看看能不能找到。
所以接下来的思路是在anaconda中配置好python解释器，然后导入到pycharm。
，
anaconda需要在一个配置文件里面更新一下源，

创建虚拟环境失败报错之后，最后的倔强

(base) C:\Users\Administrator>conda create -n pytorch python=3.6
Collecting package metadata (current_repodata.json): failed

ProxyError: Conda cannot proceed due to an error in your proxy
configuration. Check for typos and other configuration errors in any
‘.netrc’ file in your home directory, any environment variables ending
in ‘_PROXY’, and any other system-wide proxy configuration settings.

太累了。。。这样。（又在想要不要换CPU了）
在这里插入图片描述

最终因为显卡不行换cpu，思路先通过anaconda配置好，再导入。
执行命令
（这也是自己的环境）

conda create -n pytorch_1.4.0_cpu python=3.7#CPU

配置好之后

done
#
# To activate this environment, use
#
#     $ conda activate pytorch_1.4.0_cpu
#
# To deactivate an active environment, use
#
#     $ conda deactivate

这时候 重点在于你明白你创建好的python 环境在哪个位置，一般在env

安装CPU版本的torch
基本就是这个思路

之后有些库如果不能用的话
因为conda和pip 有些库名字不一样，但是使用的时候应该是一样的

需要注意的地方是，pycharm切换解释器之后，导入的 anaconda 环境用pip或者conda命令安装包的话，安装的不在当前解释器下面，需要手动通过搜索的方式添加，也就是点击如图那个+号，不知道为啥。
在这里插入图片描述
暂时无伤大雅，记住需要注意就行。
不过如果用的是CPU的话，注意把这句话加上，（先全文搜索torch。load 然后加上后半句）不然会报错

model.load_state_dict(torch.load(config.save_path,map_location='cpu'))

至此，第一次文本分类模型复现成成功，期间心态起伏数次却始终没有放弃，恩师教诲仿佛时刻能在耳畔响起。自己虽然没有昂贵的GPU拿来学习用，
CPU无非也就是多花些时间罢了。
穷人家的孩子就是这样，要学会些什么付出的代价远远比资本家的孩子高许多许多。
然
自古志士无不是穷且益坚，
自古寒门无不有坚韧之志，
此去研途漫漫，山高路远，
虽贫不可忘初心之志，虽简不可忘出山之心。

2022年7月6日14:20:26 于 山西老家
在这里插入图片描述

【BiLSTM分类】注意力机制的卷积神经网络结合双向长短记忆神经网络CNN-BiLSTM-attention数据分类【含Matlab源码 3909期】
订阅付费专栏Matlab（奶茶价版）或下载付费资源，可赠送奶茶价版付费专栏指定代码1份；
03-16 1464
注意力机制的卷积神经网络结合双向长短记忆神经网络CNN-BiLSTM-attention数据分类 完整的代码，方可运行；可提供运行操作视频！适合小白！
CNN做时间序列预测_使用Keras实现CNN+BiLSTM+Attention的多维(多变量)时间序列预测
weixin_39968995的博客
11-23 4403
数据集首先介绍一下我们的数据集，可以在我的github下载该数据集是一个污染数据集，我们需要用该多维时间序列去预测pollution这个维度构建训练数据首先我们删去数据中date,wnd_dir维（注:为了演示方便故不使用wnd_dir，其实可以通过代码将其转换为数字序列）data 再对于数据进行归一化处理，这里因为工程需要，笔者自写了最大最小归一化，可以使用sklearn的归一化函数代替#多维归...
Python实现CEEMDAN-CNN-BILSTM-attention时间序列预测（完整源码和数据)
03-04
1.Python实现CEEMDAN-CNN-BILSTM-attention时间序列预测（完整源码和数据) anaconda + pycharm + python +Tensorflow 注意事项：保姆级注释，几乎一行一注释，方便小白入门学习！ 2.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 3.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 4.作者介绍：某大厂资深算法工程师，从事Matlab、Python算法仿真工作8年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+
【Transformer回归预测】基于Transformer实现多变量多输出回归预测附matlab代码
qq_59747472的博客
07-19 1112
近年来，Transformer模型在自然语言处理领域取得了巨大的成功，并逐渐扩展到其他领域，如机器视觉、时间序列分析等。在回归预测领域，传统的回归模型往往难以处理复杂的时间序列数据，而Transformer模型的强大能力使其成为解决此类问题的新兴工具。本文将探讨基于Transformer实现多变量多输出回归预测，并提供Matlab代码示例。Transformer模型回顾Transformer是一种基于注意力机制的深度学习模型，其核心思想是通过注意力机制来学习输入序列之间的关系。
【时间序列预测】基于PyTorch实现CNN_BiLSTM算法
最新发布
码农努力学习
12-05 1748
本文详细介绍了如何使用Pytorch实现一个基于CNN和BiLSTM的混合模型。该模型结合了CNN在局部特征提取上的优势和BiLSTM在序列建模上的长程依赖能力，适用于时序数据的预测任务。在实际应用中，可以根据任务的不同调整CNN和LSTM的层数、通道数和隐藏状态维度等超参数，以提高模型的预测精度。
融合注意力机制的卷积神经网络-双向长短期记忆网络(CNN-BiLSTM-Attention)的多变量/时间序列预测
m0_59235945的博客
09-11 3534
CNN 主要由卷积层和池化层构成，其中卷积层利用卷积核进行电力负荷数据的有效非线性局部特征提取，池化层用于压缩提取的特征并生成更重要的特征信息，提高泛化能力。卷积神经网络作为一种深度学习模型，广泛应用于图像识别、目标检测、图像分割和自然语言处理等领域。CNN的设计灵感来源于生物视觉系统，通过模拟人类视觉处理的方式来实现对图像等数据的高效识别和处理。CNN的核心是卷积层，它通过卷积操作自动提取输入数据的空间层次特征，并通过池化层降低特征的空间尺寸，同时保留最重要的特征信息。
CNN-BiLSTM-Attention-Time-Series-Prediction_Keras:Keras实施的CNN + BiLSTM +注意力多元时间序列预测
05-10
TensorFlow版本：1.9.0 Keras版本：2.0.2 我的博客： :
【CNN-BiLSTM-attention分类】基于注意力机制的卷积神经网络结合双向长短记忆神经网络实现故障识别附matlab代码
matlab_dingdang的博客
01-23 1329
本文提出了一种基于注意力机制的卷积神经网络结合双向长短记忆神经网络（CNN-BiLSTM-attention）的故障识别方法。该方法首先利用卷积神经网络提取故障信号的时频特征，然后利用双向长短记忆神经网络学习故障信号的时间序列特征，最后利用注意力机制对故障信号的时频特征和时间序列特征进行加权融合，得到故障信号的综合特征。实验结果表明，该方法能够有效地识别故障信号，并且具有较高的识别精度。故障识别是故障诊断中的一个重要步骤，其目的是根据故障信号来判断故障类型。
word2vec/fastText+BiLSTM、TextCNN、CNN+BiLSTM、BiLSTM+Attention情感分类
12-11
内含10w+数据的文本数据集，可调用模型进行情感预测。 主要功能：数据清洗、文本特征提取(word2vec / fastText)、建立模型（BiLSTM、TextCNN、CNN+BiLSTM、BiLSTM+Attention） 注：资源内包含所有第三方模块的对应版本 博客链接：https://blog.csdn.net/qq_44186838/article/details/117995029
故障识别：CNN-BiLSTM-SelfAttention时空特征融合多头自注意力机制的故障识别程序，数据由Excel导入，直接运行！
weixin_48747334的博客
11-23 1766
结合这三种层的结构，模型首先通过CNN层来捕捉输入故障序列的空间特征，然后通过双向BiLSTM层来捕捉故障序列时序相关性，最后通过Self-Attention层来更好地理解序列内部的关联。这种综合结构可以更全面地处理故障序列数据。 适用于各种数据分类场景，如滚动轴承故障、变压器油气故障、电力系统输电线路故障区域、绝缘子、配网、电能质量扰动，等领域的识别、诊断和分类。
cnn+lstm+attention对时序数据进行预测
02-18
cnn+lstm+attention对时序数据进行预测 博客链接： https://blog.csdn.net/qq_30803353/article/details/121875376 1、摘要 本文主要讲解：bilstm-cnn-attention对时序数据进行预测 主要思路： 对时序数据进行分块，...
cnn-bilstm-attention-time-series-prediction_keras-master.zip
06-10
cnn-bilstm-attention-time-series-prediction_keras-master.zip
CoupletAI:基于CNN + Bi-LSTM + Attention的自动对对联系统
03-11
对联AI 用PyTorch实现的自动对对联系统，支持多种模型。一般而言，给定一句话生成另一句话是序列生成问题，本项目根据上下联字数不同的特点将其转化为序列标注问题，即用下联去标注上联。 依存关系 ...
探索深度学习之CNN-BiLSTM-Attention-Time-Series-Prediction_Keras
gitblog_00079的博客
04-18 485
探索深度学习之CNN-BiLSTM-Attention-Time-Series-Prediction_Keras 去发现同类优质开源项目:https://gitcode.com/ 在这个快速发展的大数据时代，时间序列预测已广泛应用在各个领域，如金融市场的趋势预测、电力消耗的预测以及健康监护等。 提供了一个使用Keras实现的深度学习模型，结合了卷积神经网络(CNN)、双向长短期记忆网络(BiLST...
基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)分类预测，matlab代码，2020版本及以上。多特征输入单输出的二分类及多分类模型。程序内注释详细，
机器学习-深度学习
04-20 710
基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)分类预测，matlab代码，2020版本及以上。 多特征输入单输出的二分类及多分类模型。程序内注释详细，直接替换数据就可以用。 程序语言为matlab，程序可出分类效果图，迭代优化图，混淆矩阵图。
【故障识别】基于注意力机制的卷积神经网络结合双向长短记忆神经网络CNN-BiLSTM-attention实现故障识别附matlab代码
qq_59747472的博客
01-23 768
本文提出了一种基于注意力机制的卷积神经网络结合双向长短记忆神经网络（CNN-BiLSTM-attention）的故障识别方法。该方法首先利用卷积神经网络提取故障信号的时频特征，然后利用双向长短记忆神经网络学习故障信号的时间序列特征，最后利用注意力机制对故障信号的时频特征和时间序列特征进行加权融合，得到故障信号的综合特征。实验结果表明，该方法能够有效地识别故障信号，并且具有较高的识别精度。故障识别是故障诊断中的一个重要步骤，其目的是根据故障信号来判断故障类型。
基于卷积神经网络结合注意力机制的长短记忆网络CNN-BiLSTM-Attention实现风电多输入单输出预测附matlab代码
matlab_dingdang的博客
03-26 277
本文提出了一种基于注意力机制的混合ＣＮＮ－ＢｉＬＳＴＭ系统模型，如图１所示。该模型由ＣＮＮ网络、ＢｉＬＳＴＭ网络、融合层和全连接层４部分构成。该模型的主要思路为：在通道１中，利用ＢｉＬＳＴＭ网络进行双向全局时间特征的充分提取；同时，在通道２中，利用一维卷积神经网络（ｏｎｅ－ｄｉｍｅｎｓｉｏｎａｌｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，１ＤＣＮＮ）对时序信号沿时间轴正方向进行局部非相关性特征的提取，以获得更多的时间特征，并在注意力机制的作用下合理地选择分配权重；
【风电功率预测】【多变量输入单步预测】基于CNN-BiGRU-Attention的风电功率预测研究（Matlab代码实现）
weixin_67304359的博客
08-31 871
定义：CNN是一种深度学习模型，擅长提取图像和时间序列数据中的局部特征信息。在风电功率预测中的应用：用于提取风电功率数据的空间特征，如风速变化趋势、季节性变化等。通过滑动窗口和池化层，CNN能够捕捉数据中的局部特征，并减少数据维度。
cnn+bilstm+attention
06-28
### 回答1： CNN+Bilstm+Attention是一种深度学习模型，用于自然语言处理任务，如文本分类、情感分析等。CNN用于提取文本中的局部特征，Bilstm用于捕捉文本中的长程依赖关系，而Attention机制则可以对文本中的重要信息进行加权，从而提高模型的性能。这种模型在自然语言处理领域取得了很好的效果。 ### 回答2： CNN双向LSTM注意力机制（CNN-BiLSTM-Attention）是一种智能语义分析模型，用于自然语言处理领域的文本分类等任务中。它结合了卷积神经网络（CNN）、双向长短时记忆网络（BiLSTM）和注意力机制（Attention），能够从语义和上下文等多个角度对文本进行深入分析，同时避免了传统模型的一些缺陷和局限性。 CNN作为第一层网络，主要用于捕捉文本空间特征，比如单词、句子或段落之间的局部关联性。它通过卷积操作对文本进行特征提取，从而得到整个文本的语义表示。接着，BiLSTM作为第二层网络，主要用于捕捉文本序列特征，比如单词之间的时间依赖关系。具体地，它通过正向和反向两个LSTM网络进行计算，得到整体文本的时序表示。 最后，Attention作为第三层网络，主要用于加强文本的关键部分，比如重要的单词、短语或句子。它基于文本的向量表示，以及主题模型等技术，进行加权计算，使得模型在处理长文本时更加准确和高效。 总之，CNN-BiLSTM-Attention模型是一种基于深度学习技术的高级模型，能够胜任各种文本处理任务，比如文本分类、情感分析、机器翻译等。它不仅具备传统NLP模型的优势，而且可解决传统模型的瓶颈问题，从而提高了分析结果的准确性和实用性。当然，在实际应用中，我们需要根据具体任务选择合适的模型和参数，以达到最佳效果。 ### 回答3： CNN、BiLSTM和Attention都是深度学习领域中常用的模型。CNN（卷积神经网络）主要用于图像识别、物体检测等领域，可以提取图片中的空间信息，通过对不同卷积核的学习，获得不同的特征，从而实现对图片的准确分类。BiLSTM（双向长短时记忆网络）则可以处理序列数据，比如自然语言处理中的文本、语音识别中的信号等。BiLSTM网络能够维护输入序列的历史信息，并且具有长短时记忆性，能够在循环神经网络中解决梯度消失和梯度爆炸问题，提高模型的泛化能力。Attention机制则是可以让模型有机会选择性地关注序列中的一部分，动态地将输入的各个元素赋予不同的权重，从而加强模型对关键信息的学习。Attention机制可以应用于自然语言处理、图像处理等领域，在机器翻译、文本摘要和图像描述方面有很好的效果。 CNN和BiLSTM的结合是利用两者互补的特点，CNN能够提取局部的空间特征，而BiLSTM能够学习序列中的上下文信息。在自然语言处理中，句子中的一些单词可能会在本句话和后面的句子中重复出现，这些单词传统的深度学习模型容易忽略掉。而引入Attention机制之后，模型可以将最重要的词汇加强学习，同时忽略掉无关的词汇，从而提高模型的准确率和效果。因此，结合CNN、BiLSTM和Attention机制进行建模的CNN-BiLSTM-Attention模型在自然语言处理和语音识别中被广泛应用，并取得了不错的效果。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东方-教育技术博主

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值