使用PyTorch和TextCNN进行英文长文本诗歌分类

于 2023-09-27 02:54:46 发布
阅读量89 收藏
点赞数
文章标签： pytorch 分类 人工智能 机器学习-深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PzBlockchain/article/details/133330418
版权
本文介绍了如何使用PyTorch和TextCNN模型进行英文长文本诗歌分类。首先，数据集被划分为训练集和测试集，接着详细阐述了TextCNN模型的构建过程，包括卷积层、池化层和全连接层的设计。在训练模型后，通过定义损失函数和优化器，进行了模型训练，并在测试集上评估了性能，展示了计算准确率、精确率、召回率和F1分数的步骤。
摘要由CSDN通过智能技术生成

在这篇文章中，我们将使用PyTorch和TextCNN模型来实现英文长文本诗歌的分类。TextCNN是一种经典的卷积神经网络模型，常用于文本分类任务。我们将使用PyTorch作为我们的深度学习框架，并使用TextCNN模型对输入的诗歌进行分类。

首先，我们需要准备我们的数据集。我们将使用一个包含不同类别的诗歌文本的数据集。每个样本都是一个长文本的诗歌，而每个诗歌都属于一个预定义的类别。我们需要将数据集划分为训练集和测试集，以便在训练模型后评估其性能。

接下来，我们将使用PyTorch来定义我们的TextCNN模型。TextCNN模型由卷积层和池化层组成，用于提取输入文本的特征。我们将使用多个不同大小的卷积核来捕捉不同长度的特征。然后，我们将使用池化操作来减小特征的维度，并将其作为输入传递给全连接层进行分类。

下面是使用PyTorch定义TextCNN模型的代码：

import torch
import torch.nn as nn
import torch.
了解本专栏 订阅专栏 解锁全文
PzBlockchain
关注
专栏目录
订阅专栏
python pytorch- TextCNN TextRNN FastText Transfermer文本情感分类-数据集
10-08
在Python和PyTorch的世界里，文本情感分类是一项常见的自然语言处理任务，它涉及理解文本中的情感倾向，如正面、负面或中性。本实践项目使用了三种不同的模型：TextCNN、TextRNN和Transformer，它们都是深度学习领域...
NLP系列（1）文本分类（TextCNN）pytorch
牧子川的博客
08-11 3986
TextCNN 模型是用来对文本进行分类。
pytorch文本分类_pytorch中的cnns进行文本分类
weixin_26720549的博客
09-02 2493
pytorch文本分类“Deep Learning is more than adding layers”“深度学习不仅仅是增加层次”The objective of this blog is to develop a step by step text classifier by implementing convolutional neural networks. So, this blog ...
Pytorch04: 用自己的数据实现TextCNN--基于自定义文本数据处理的一个简单文本分类器
weixin_43992162的博客
03-16 1824
写在前面 在前面的几篇博客中都是针对图像进行的深度学习，那在本文中将把目光转向文本分类的深度学习，并从处理数据开始，完整实现一个简单的TextCNN模型。目的是文本分类的TextCNN在网络搭建的处理上和VGG-16的过程大同小异，且它的网络结构相比VGG-16简单很多。然而，由于我暂时没有找到面向文本数据的好用的数据转换库，所以本文更多的笔墨放在了如何根据自己的数据来搭建一个TextCNN模型。
PyTorch实战CNN文本分类
qq_41605740的博客
11-08 1249
CNN原本用于图像任务，如何利用CNN进行文本分类任务？关键在于特征提取方式，进过上一节，我们知道LSTM利用了词嵌入模型，将词映射为一个300维的向量。这里我们也可以利用同样的方式，举例：先将一个字映射为5维向量，设卷积核大小为4。5（绿色部分）或者2*5（黄色部分），颜色深浅为两个卷积核即两个初始化权重参数不同的卷积核。最大池化max-pooling提取特征点，进行拼接，再进行全连接进行分类。全部代码在上一节LSTM中，代码实现了LSTM模块和CNN模块，注意需要把model默认值改为TextCNN。
chinese_text_cnn：TextCNN Pytorch实现中文文本分类情感分析
02-03
TextCNN Pytorch实现中文文本分类论文参考 依赖项python3.5 pytorch == 1.0.0 torchtext == 0.3.1 jieba == 0.39词向量 （这里用的是Zhihu_QA知乎问答训练出来的单词Word2vec）用法python3 main.py -h训练python3 ...
Pytorch TextCNN实现中文文本分类 情感分析完整代码数据可直接运行
04-06
在本文中，我们将深入探讨如何使用PyTorch和TextCNN模型来实现中文文本的情感分析。首先，让我们了解PyTorch的基础知识。PyTorch是一款开源的机器学习库，基于Torch，广泛应用于深度学习和神经网络的研究。它提供了...
使用pytorch和torchtext进行文本分类的实例
12-23
文本分类是NLP领域的较为容易的入门问题，本文记录我自己在做文本分类任务以及复现相关论文时的基本流程，绝大部分操作都使用了torch和torchtext两个库。 1. 文本数据预处理 首先数据存储在三个csv文件中，分别是...
pytorch实现用CNN和LSTM对文本进行分类方式
09-18
在本文中，我们将探讨如何使用PyTorch框架结合卷积神经网络（CNN）和长短期记忆网络（LSTM）对文本数据进行分类。文本分类是一个广泛应用的自然语言处理（NLP）任务，它的目的是将文本数据分配到一个或多个类别中。 ...
使用Pytorch进行文本分类——TextCNN
黑白象
08-02 7227
目录网络结构代码实现 网络结构 代码实现 class TextCNN(nn.Module): def __init__(self, config:TCNNConfig, char_size = 5000, pinyin_size=5000): super(TextCNN, self).__init__(...
英文诗歌数据-绘制英文词云图+英文本文分类（pytorch）
zzpl139的博客
11-28 1414
英文诗歌数据-绘制词云图+本文分类（pytorch）1.文本处理 2.词云图绘制 3.文本分类
轻松搞懂【TF-IDF、word2vec、svm、cnn、textcnn、bilstm、cnn+bilstm、bilstm+attention实现】英文长文本分类
热门推荐
w0714的博客
07-03 3万+
项目来源：https://www.kaggle.com/c/word2vec-nlp-tutorial/ 之前我写过几篇博客： 就这？word2vec+BiLSTM、TextCNN、CNN+BiLSTM、BiLSTM+Attention实现中英文情感分类代码详解 就这？word2vec+SVM（支持向量机）实现中英文情感分类代码详解 这两篇博客主要是基于中文进行情感分类的，那么本篇博客，我会以这个kaggle项目来介绍如何实现英文长文本情感分类。 1 实验数据 本次数据集来源于kaggle项目“Bag o
基于LSTM英文文本分类
Cocktail_py的博客
06-25 1427
一.安装相应依赖 pip3 install tensorflow==2.2.0 pip3 install numpy==1.19.3 pip3 install jieba==0.42.1 pip3 install nltk==3.6.2 pip3 install sklearn pip3 install pandas==1.1.5 二.准备数据 # 相应的数据格式如下 {"category": "Cigarette Manufacturing Machinery", "pro_title": "Thick
关于文本分类（情感分析）的英文数据集汇总
lip
07-31 1万+
关于文本分类（情感分析）的英文数据集汇总 20 Newsgroups数据集： The 20 Newsgroups data set is a collection of approximately 20,000 newsgroup documents, partitioned (nearly) evenly across 20 different newsgroups. The data is o...
xlnet模型微调---英文文本分类
luoyexuge的专栏
06-20 6251
每隔一段时间在NLP领域都有个新闻，xx模型全面超越bert，今天也不例外，今天刷屏的是xlnet网络，在bert的基础上做了修改，模型网络是24层，模型大小是中文的bert的4倍左右，看下怎么玩，其中英文分词这里原代码中用的是 sentencepiece，所以在使用时要安装这个包，下面一起来看看怎么使用：首先是要下载模型用于 curl -O "https://storage.googleap...
TensorFlow学习笔记（9）--使用CNN做英文文本分类任务
对角巷
05-25 1万+
文中代码是实现在TensorFlow下使用卷积神经网络（CNN）做英文文本的分类任务（本次是垃圾邮件的二分类任务），当然垃圾邮件分类是一种应用环境，模型方法也可以推广到其它应用场景，如电商商品好评差评分类、正负面新闻等。
英文文本分类（CNN）
weixin_42108215的博客
09-12 8922
网络结构参照如下图： 数据预处理阶段： import numpy as np import re import itertools from collections import Counter def clean_str(string): """ Tokenization/string cleaning for all datasets except for SST...
英文文本分类实战总结
pnnngchg的博客
04-19 9859
之前参加了一个英文文本的分类比赛。比赛结束到了过年，加上开学又有一些事情，所以总结的工作就一直没有进行。现在空了一些，所以把之前的工作写一写，比赛中用到的代码也会放到github上。 对这个比赛的任务介绍以及数据可以看这篇写过的文章。简单说，就是一个英文文本的有监督二分类问题，对一条英文问句判断是否为一条有意义的问题。这篇文章里还对数据处理介绍了两种简单的方法，一个是embedding词向量，另一...
长文本分类的总结
老笨妞
08-28 2万+
笨妞很少做文本分类，因为工作中文本分类确实不怎么用得到，唯一一个项目用到短文本分类，验证集acc和f1都到90%以上，所以在笨妞印象中文本分类应该是很简单的分类问题，都不属于NLP问题。偶然碰到DC竞赛中“达观杯”文本分类大赛，尝试了一下新闻类文本的分类。其实并没有那么简单。   数据概况 “达观杯”的主题是19类新闻分类，数据包含4个字段：id（文章索引）、article（字级别文章）、w...
pytorch下使用textcnn怎么进行文本分类
最新发布
05-25
下面是使用PyTorch实现文本分类的TextCNN模型的基本步骤： 1. 数据预处理：将文本数据转换成数字形式，比如使用词袋模型或词嵌入（Word Embedding）等方式将每个单词映射成一个数字向量。 2. 定义模型结构：TextCNN模型主要由卷积层和池化层组成，可以使用PyTorch中的nn.Conv1d和nn.MaxPool1d等函数实现。 3. 模型训练：定义损失函数和优化器，并在训练集上训练模型。 4. 模型评估：在测试集上测试模型的性能，通常使用准确率（Accuracy）等指标来评估模型的性能。 下面是一个简单的示例代码，用于实现基于TextCNN的文本分类： ``` python import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embedding_dim, num_classes, kernel_sizes=[3, 4, 5], num_filters=100): super(TextCNN, self).__init__() self.embedding = nn.Embedding(vocab_size, embedding_dim) self.convs = nn.ModuleList([nn.Conv1d(in_channels=embedding_dim, out_channels=num_filters, kernel_size=ks) for ks in kernel_sizes]) self.fc = nn.Linear(len(kernel_sizes) * num_filters, num_classes) def forward(self, x): x = self.embedding(x) x = x.permute(0, 2, 1) x = [torch.relu(conv(x)) for conv in self.convs] x = [torch.max_pool1d(conv, conv.shape[2]).squeeze(2) for conv in x] x = torch.cat(x, dim=1) x = self.fc(x) return x ``` 其中，TextCNN类的构造函数中，vocab_size表示词表大小，embedding_dim表示词嵌入维度，num_classes表示分类类别数，kernel_sizes表示卷积核大小列表，num_filters表示卷积核数量。 在forward函数中，首先将输入x通过Embedding层转换为词向量，接着将其转置，以便输入到卷积层中。然后，对于每个卷积核，分别进行卷积操作，并通过ReLU激活函数进行非线性变换。接着，对于每个卷积结果，进行一维最大池化操作，得到每个卷积核对应的特征值。最后，将所有特征值拼接起来，并通过全连接层进行分类预测。 在训练模型时，可以使用PyTorch提供的交叉熵损失函数（nn.CrossEntropyLoss）和Adam优化器（torch.optim.Adam），并进行多轮迭代训练。 ``` python model = TextCNN(vocab_size, embedding_dim, num_classes) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) for epoch in range(num_epochs): for i, (inputs, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() # 在测试集上评估模型性能 with torch.no_grad(): correct = 0 total = 0 for inputs, labels in test_loader: outputs = model(inputs) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() accuracy = 100 * correct / total print('Epoch [{}/{}], Accuracy: {:.2f}%'.format(epoch+1, num_epochs, accuracy)) ``` 这里示例代码中，使用交叉熵损失函数和Adam优化器进行模型训练，并在每个epoch结束后，计算在测试集上的准确率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值