基于LSTM进行简单二分类

最新推荐文章于 2024-05-27 10:19:46 发布
最新推荐文章于 2024-05-27 10:19:46 发布
阅读量660 收藏 17
点赞数 9
文章标签： 分类 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67458511/article/details/138916747
版权

一、数据预处理

        1、总结：做分类模型需要将数据提取保存成 【x,y】形式，
                        将所有数据保存成一个list格式【【x1,y1】,【x2,y2】】

        2、截图：去除停用词用空格分开
                

二、构建词库及切分数据集

        1、构建三个字典

                x = {token1:id1}    --------- 用于将文本token进行数值转换，传给模型
                y_id = {y1:id1} --------- 用于将标签转换数值 传给模型
                id_y = {id1:y1} --------- 用于将模型传出的结果转换中午标签

        2、切分数据集 

                将总数据切分成训练集和测试集 （8:2或其它）

        3、构建DataLoader

三、参数初始化

        1、总结：
                自定义的：
                （1）：批次大小     
                                作用：决定了每次训练时模型处理的数据量，
                                较小：（对数据特征抓取不准）
                                        优点：内存消耗少，减少过度拟合
                                        缺点：训练速度较慢，可能梯度估计不准，不稳定、收敛速度慢
                                较大：（抓取特征准，容易过拟合）
                                        优点：训练速度较快，充分利用硬件加速器的并行计算能力。
                                                   确保收敛性，更好地平均梯度，减少梯度更新的噪声
                                                   有助于收敛到较好的局部最小值
                                        缺点：内存需求高
                                                   泛化性能下降
                                建议：尝试不同的批次大小，观察验证集上的性能

                （2）：Embedding维度
                                作用：将token转换固定大小向量空间维度
                                较小：捕捉语义信息相对少，
                                较大：增加模型复杂性，并容易过拟合
                                建议：可以通过交叉验证来选择最优的维度

                （3）：rnn隐藏大小
                                作用：LSTM单元中隐藏状态维度
                                较小：导致模型容量不足，文本信息少
                                较大：容易过拟合
                                建议：可以通过交叉验证来选择最优的维度

                （4）：训练轮数
                                作用：定义训练次数
                              
                （5）：学习率
                             作用：决定了模型在每次参数更新时的步长大小
                             较大：加速训练过程，可能导致训练不稳定
                             较小：可能导致训练过程过慢
                             建议：可以使用学习率调度器，来自动调整学习率
                固定的：
                （1）：词库数量    
                （2）：类别数量


四、模型构建
        第一部分：__init__
                1、词向量
                        self.embedding = nn.Embedding(词库大小, 词向量维度, padding_idx=0)
                        padding_idx填充
                2、模型
                        self.rnn = nn.GRU（input_size = embedding维度,hidden_size=RNN维度
                                                          batch_first = True（指定输入和输出张量的形状）,）
                3、输出层
                        self.out = nn.Linear(rnn隐层维度大小, 类别数量
        第二部分：forward(self, x)
                1、将文本转换为向量        x = self.embedding(x)
                2、经过模型得到输出        r_out, h_n = self.rnn(x)
                3、经过输出层得到结果    out = self.out(h_n[0])
                                                           return out
        整体代码：
                
        

五、训练模型
        1、设置优化器和损失函数
        2、循环训练轮次
        3、设置模型为训练模式
        4、遍历训练数据
        5、优化器梯度清零
        6、前向传播
        7、计算损失
        8、后向传播
        9、更新梯度值
        10、每一轮训练训练完一次数据 进行测试集测试
        11、判断准确率是否比上次好 进行保存模型
        12、整体代码
                

六、调用训练好的模型
        1、将输入的文本和训练数据一样的处理  （分词、去停用、转数值）
        2、加载保存好的模型
        3、将处理好的文本 输入模型
        4、将输出的数据进行归一化映射（0，1）
        5、和4同步找到最大值的索引映射为标签
        6、得到了 概率值和输出标签
        

 

雷雷——
关注
  • 9
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【37】使用LSTM实现文本分类、图像分类、图像生成任务
Clichong
05-12 1万+
如有错误，恳请指出。 在上一篇文章中，使用了LSTM来预测时序信息，但是在自然语言处理领域中，LSTM可以用来进行文本预测，大体上的思路是将batch个文本，每个文本的seq个词汇编码为hidden dim长度的特征向量，所以最后的特征维度是[seq, batch, hidden dim]，就可以作为输入数据。提取LSTM最后的一个隐藏单元[batch, hidden dim]，再使用一个全连接层就可以实现分类。 而对于图像来说，其信息维度都很熟悉了，[batch, c, h, w]，那么其实也可以是将.
简单的文本二分类程序，基于LSTM.zip
05-22
LSTM (Long Short-Term Memory) 是一种特殊的循环神经网络（RNN）架构，用于处理具有长期依赖关系的序列数据。传统的RNN在处理长序列时往往会遇到梯度消失或梯度爆炸的问题，导致无法有效地捕捉长期依赖。LSTM通过引入门控机制（Gating Mechanism）和记忆单元（Memory Cell）来克服这些问题。 以下是LSTM的基本结构和主要组件： 记忆单元（Memory Cell）：记忆单元是LSTM的核心，用于存储长期信息。它像一个传送带一样，在整个链上运行，只有一些小的线性交互。信息很容易地在其上保持不变。 输入门（Input Gate）：输入门决定了哪些新的信息会被加入到记忆单元中。它由当前时刻的输入和上一时刻的隐藏状态共同决定。 遗忘门（Forget Gate）：遗忘门决定了哪些信息会从记忆单元中被丢弃或遗忘。它也由当前时刻的输入和上一时刻的隐藏状态共同决定。 输出门（Output Gate）：输出门决定了哪些信息会从记忆单元中输出到当前时刻的隐藏状态中。同样地，它也由当前时刻的输入和上一时刻的隐藏状态共同决定。 LSTM的计算过程可以大致描述为： 通过遗忘门决定从记忆单元中丢弃哪些信息。 通过输入门决定哪些新的信息会被加入到记忆单元中。 更新记忆单元的状态。 通过输出门决定哪些信息会从记忆单元中输出到当前时刻的隐藏状态中。 由于LSTM能够有效地处理长期依赖关系，它在许多序列建模任务中都取得了很好的效果，如语音识别、文本生成、机器翻译、时序预测等。
pytorch构建LSTM处理二分类任务
呆萌的代Ma
07-01 1万+
文章目录构造训练数据构造LSTM模型全部代码 构造训练数据 def get_train_data(): """得到训练数据，这里使用随机数生成训练数据，由此导致最终结果并不好""" def get_tensor_from_pd(dataframe_series) -> torch.Tensor: return torch.tensor(data=dataframe_series.values) import numpy as np import pa
「基于LSTM的多特征输入单输出二分类及多分类模型 - MATLAB实现，附详细注释和效果图」
最新发布
EwBSrszahz的博客
05-27 483
而混淆矩阵图则展示了模型在真实类别和预测类别之间的关系，可以帮助我们了解模型在不同类别上的分类效果。通过对输入数据进行预处理和标准化，使用LSTM网络模型和反向传播算法进行训练和优化，同时引入Dropout和正则化技术进行过拟合的控制，我们实现了一个具有较好分类性能的模型。在计算机科学领域，机器学习是一种强大的工具，它可以通过对大量数据的学习和分析，自动发现数据中的模式和规律。相比传统的RNN模型，LSTM具有更好的记忆能力和长期依赖性建模能力，因此在序列数据的分类和预测任务中表现出色。
PyTorch实践项目：LSTM 影评情感分析 (二分类)
大面鱼的博客
03-03 1692
每个评论列表的大小# 词汇表的大小# 总共有2个类别，但是输出维度可以设置成 1#词嵌入层维度# 隐藏层维度# LSTM 层数# epoch 次数# 将输入的文本进行词嵌入表示的操作，即将 input_size 转变为 embedding_size# LSTM 的输入维度就是 embedding_size，即 300。batch_first=True 表示将 batch_size 设置成第一个维度# 全连接层，其中 output_size 就是类别数量，即 1'''
基于LSTM的运动想象脑电信号分类方法
04-16
脑机接口是一种通过特定手段对脑电信号进行提取，利用信号处理算法解码，分析大脑信号，识别人脑的技术。为了提高二分类运动想象脑电信号的识别准确率，该文提出了一种基于LSTM神经网络的脑电信号分类方法，以2003年BCI国际竞赛的公开数据对所提出的方法进行验证。实验结果证明，LSTM神经网络训练出的模型具有良好的效果，分类的平均准确率接近90%。
深度学习——LSTM解决分类问题
热门推荐
Elon15的博客
07-16 3万+
深度学习——LSTM解决分类问题
LSTM分类模型
huanxingchen1的博客
03-14 1万+
LSTM分类模型 本文主要固定一个文本分类的流程。分为三个部分： 数据处理。对分类文本数据集做简单的预处理。 模型数据准备。处理上一步的结果，得到模型的输入样本。 模型搭建和训练流程。 程序架构如下： 主要包括一个原始的分类文件(头条新闻)。 一个预处理脚本prepare_data.py 一个数据处理脚本data_loader.py 一个训练过程脚本trainer.py 一个模型文件lstm_model.py 分类流程 数据预处理 将原始的文本进行预处理，原始文件形式如下： 处理后文件如下，形式为
理解LSTM网络
calvinpaean的博客
10-15 500
递归神经网络 人类的思考不是每秒钟都从头开始的。当你读这篇博客的时候，你是通过之前你对文字的认识来理解这里的每一个字。你没有丢弃过去的认识而从零来思考。人的思维具有持续性。 传统的神经网络没法做到这点，这也是它们的主要缺陷。例如，你想要对电影中每时刻发生的事件进行分类。传统的神经网络就没法利用对过去事件的推理来知晓后续的事件。 递归神经网络解决了这个问题。它们是包含了循环的神经网络，使得信息可以保...
基于Mixup数据增强的LSTM-FCN时间序列分类.docx
02-23
二、基于LSTM-FCN的时间序列分类 LSTM-FCN模型是一种结合长短时记忆网络（LSTM）和全卷积网络（FCN）的模型结构，旨在提取时间序列数据的局部特征和长期依赖关系。LSTM-FCN模型的结构如图1所示，由2个分支组成，...
基于keras框架，用lstm解决回归和分类问题.zip
04-03
model.add(Dense(1, activation='sigmoid')) # 对于二分类问题 ``` 3. **编译模型**：定义损失函数、优化器和评估指标，然后编译模型。 ```python model.compile(loss='binary_crossentropy', optimizer='adam'...
基于LSTM对东方财富的宏观研究的研报进行情感分析源码+模型+数据，分类为正向、负向和中性三类
03-19
（1）爬虫 （2）文本处理 （3）word2vec词向量训练 （4）Lstm模型训练 （5）基于模型的新文本预测 二、运行该系统需要安装的包 （1）爬虫中需要安装：selenium和PhantomJS，本人的安装环境是mac下的anaconda，安装...
GWO优化LSTM分类，不能用的来kan我
03-09
标题中的“GWO优化LSTM分类，不能用的来kan我”暗示了作者对利用GWO改进LSTM模型的自信，而描述简单地提到代码分为两类，这可能意味着该代码实现了一个二分类问题或者有两个不同的LSTM模型版本。 **1. 长短期记忆...
基于长短神经网络LSTM做多特征输入单输出的二分类及多分类模型
bFdambmA的博客
12-07 1018
LSTM算法的核心思想是将当前输入的数据和上一个时刻的状态向量进行联合计算，以生成当前时刻的状态向量。通过实验数据的传递和处理，以及对LSTM算法原理的深入理解，我们成功地实现了一个具有良好分类效果的LSTM模型，并得到了良好的实验结果。4.实验结果展示 最终，我们实现了一个多特征输入单输出的二分类及多分类LSTM模型，并得到了良好的分类效果。通过实验数据的传递和处理，以及对LSTM算法原理的深入理解，我们成功地实现了多特征输入单输出的二分类及多分类任务，并得到了良好的分类效果。程序语言为matlab。
用LSTM实现sin和tan的二分类
weixin_43125467的博客
10-31 2291
用LSTM实现sin和tan的二分类读取数据(load_data.py)定义RNN-LSTM模型(model.py)定义训练过程(train_model.py)主程序(main.py) 在基于CNN程序的基础上用长短时记忆网络对sin和tan离散数据进行了分类，采用单向单层LSTM网络，其中，对nn.LSTM()函数在程序中进行了详细解释。 读取数据(load_data.py) 可以调用此部分读取...
LSTM二分类预测Python代码，并输出模型训练的损失函数图
谢生龙
03-18 2342
LSTM二分类预测Python代码，并输出模型训练的损失函数图
【LSTM分类】基于长短期记忆网络的数据分类预测附matlab代码
m0_57702748的博客
07-26 1507
基于长短期记忆网络（Long Short-Term Memory, LSTM）的数据分类预测是一种常见的序列数据分析方法。LSTM是一种特殊的循环神经网络（Recurrent Neural Network, RNN），具有记忆单元和门控机制，能够更好地处理序列数据中的长期依赖关系。下面是基于LSTM的数据分类预测的步骤：数据准备：首先，需要准备用于分类预测的训练数据集和测试数据集。序列数据应具有标签，以便进行监督学习。LSTM模型搭建：构建LSTM模型。
Keras:我的第一个LSTM二分类网络模型
chenxiemin的专栏
08-16 1万+
目标 使用Keras训练一个简单的LSTM二分类网络模型，用于找到数列中是否包含3个连续递增或者递减的子数列。比如 [ 0.1, 0.2, 0.3, 0.5, 0.3, 0.2 ] 数列对应的标签为[ 0, 0, 1, 1 , 0, 1 ]。 特诊 设 [x1, x2, x3]中x3的特诊为： [ x3, x2, x2 > x1 ? 1 : 0 ]。即数列中的当前数据与前一个数据，以前前一个数据的状态（前一个数据递增状态为1，递减状态为0）。 数据生成 数据生成代码如下所示： import pand
tf2.0做LSTM情感分析（二分类、2020李宏毅hw4）
syh的技术记录
08-31 3106
前言 这段时间在做李宏毅ML/DL网课的第四次作业（2020），李老师讲得真的很棒，如果想自学的话我把课程链接放在这儿李宏毅2020网课，里面所有作业的数据集也放在这里：所有作业数据集，提取码：akti，都是这个up主整理的，挺良心的，为这个up主点赞。 写这篇blog主要是为了总结最近几天的学习，以及日后用到模型可以及时拐回来复习。这次的模型在测试集上的准确率有64%左右，并不是特别高，有些过拟合，日后有提高精度的方法我会再去试试。下面写的很多东西都是我自己的理解，可能会有不准确的地方，观看时请带着批判性
pytorch建立lstm模型实现二分类预测模型
05-18
好的，下面是一个简单的基于 PyTorch 的 LSTM 二分类预测模型的代码示例： ```python import torch import torch.nn as nn class LSTMClassifier(nn.Module): def __init__(self, vocab_size, embedding_dim, hidden_dim, output_dim, num_layers, bidirectional, dropout): super().__init__() self.embedding = nn.Embedding(vocab_size, embedding_dim) self.lstm = nn.LSTM(embedding_dim, hidden_dim, num_layers=num_layers, bidirectional=bidirectional, dropout=dropout) self.fc = nn.Linear(hidden_dim * 2 if bidirectional else hidden_dim, output_dim) self.dropout = nn.Dropout(dropout) def forward(self, text, text_lengths): embedded = self.dropout(self.embedding(text)) packed_embedded = nn.utils.rnn.pack_padded_sequence(embedded, text_lengths.to('cpu')) packed_output, (hidden, cell) = self.lstm(packed_embedded) output, output_lengths = nn.utils.rnn.pad_packed_sequence(packed_output) hidden = self.dropout(torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim=1) if self.lstm.bidirectional else hidden[-1,:,:]) return self.fc(hidden) ``` 这是一个包含一个嵌入层、一个 LSTM 层和一个全连接层的模型。其中 `vocab_size` 是词汇表大小，`embedding_dim` 是词向量维度，`hidden_dim` 是 LSTM 隐藏层的维度，`output_dim` 是输出维度（即二分类的结果），`num_layers` 是 LSTM 层数，`bidirectional` 表示是否使用双向 LSTM，`dropout` 是 dropout 概率。 在 forward 方法中，我们首先将输入文本进行嵌入，然后使用 LSTM 层进行处理。由于输入文本长度不同，我们需要使用 `pack_padded_sequence` 和 `pad_packed_sequence` 函数对输入进行处理。最后，我们将 LSTM 层的输出通过全连接层得到最终的预测结果。 接下来，我们需要定义损失函数和优化器，并对模型进行训练和测试： ```python import torch.optim as optim # 定义模型和损失函数 model = LSTMClassifier(vocab_size, embedding_dim, hidden_dim, output_dim, num_layers, bidirectional, dropout).to(device) criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters()) # 训练模型 for epoch in range(num_epochs): for batch in train_iterator: optimizer.zero_grad() text, text_lengths = batch.text predictions = model(text, text_lengths).squeeze(1) loss = criterion(predictions, batch.label) loss.backward() optimizer.step() # 测试模型 def test_model(model, iterator): correct = 0 total = 0 model.eval() with torch.no_grad(): for batch in iterator: text, text_lengths = batch.text predictions = model(text, text_lengths).squeeze(1) pred_labels = predictions.argmax(1) correct += (pred_labels == batch.label).sum().item() total += batch.batch_size return correct / total test_acc = test_model(model, test_iterator) print(f'Test Accuracy: {test_acc:.3f}') ``` 在训练过程中，我们首先将优化器的梯度清零，然后将输入文本和长度传递给模型，得到预测结果并计算损失。最后，我们使用反向传播更新模型参数。 在测试过程中，我们将模型设置为 eval 模式，然后对测试数据进行预测，并计算准确率。 这就是一个简单的基于 PyTorch 的 LSTM 二分类预测模型的实现。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值