使用pytorch实现简单的TextCNN（步骤详解）

最新推荐文章于 2024-05-13 16:45:52 发布
最新推荐文章于 2024-05-13 16:45:52 发布
阅读量8.7k 收藏 20
点赞数 1
分类专栏： 自然语言处理 文章标签： 自然语言处理 nlp TextCNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37822951/article/details/90238522
版权
本文中将根据原理图所示，使用pytorch搭建简单的TextCNN网络结构。尽可能详细的描述每个步骤。TextCNN的详细过程原理图如下：以下代码基于https://blog.csdn.net/sunny_xsc1994/article/details/82969867进行修改得到embedding_size=5, out_channels=2, kernel_size=[2,3,4]...
摘要由CSDN通过智能技术生成

本文中将根据原理图所示，使用pytorch搭建简单的TextCNN网络结构。尽可能详细的描述每个步骤。
TextCNN的详细过程原理图如下：
原理图

以下代码基于https://blog.csdn.net/sunny_xsc1994/article/details/82969867进行修改得到

embedding_size=5, out_channels=2, kernel_size=[2,3,4], max_text_len=7

  • embedding_size 每个词向量的长度，在图中是d=5
  • out_channels 卷积产生的通道数，有多少个out_channels，就需要多少个一维卷积（也就是卷积核的数量）。图中可以看到每类卷积核，或者说filter，分别有两个，所以out_channels=2
  • kernel_size 卷积核的大小，即图中filter的行数。列数和embedding_size相同，因为这是一维的卷积。如图所示，分别是2,3,4
  • max_text_len the size of the window to take a max over. 我的理解是，MaxPool1d中会取图中feature maps中的最大值，为此，得确定一个范围，即多长的feature map中的最大值。当长度为feature map全长时，最大值自然只有一个，当长度为feature map全长
最低0.47元/天 解锁文章
Blue_Keroro
关注
  • 1
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
TextCNN pytorch实现
m0_50896529的博客
11-02 3281
TextCNN结构 以下为原论文中的模型结构图： embedding 卷积层 MaxPooling Flatten 全连接层 卷积操作 在卷积神经网络中仅涉及离散卷积的情形。 卷积运算的作用就类似与滤波，因此也称卷积核为filter滤波器。 卷积神经网络的核心思想是捕捉局部特征（n-gram）。CNN的优势在于能够自动地对g-gram特征进行组合和筛选，获得不同抽象层次的语义信息。 下图为用于文本分类任务的TextCNN结构描述（这里详细解释了TextCNN架构以及词向量矩阵是如何做卷积的）
NLP实战：Pytorch实现7大经典深度学习中文文本分类-TextCNN+TextRNN+FastText+TextRCNN+TextRNN_Attention+DPCNN+Transformer
小胡说人工智能的博客
07-07 6980
本文以Pytorch为框架，实现了7种经典的深度学习中文文本分类模型，包括TextCNN、TextRNN、FastText、TextRCNN、TextRNN_Attention、DPCNN和Transformer。通过这篇文章，读者可以了解到各种深度学习中文文本分类模型的实现细节和性能表现。本文不仅为学术研究者提供了参考，也为开发者和实践者提供了可复用的代码和实验指南，帮助他们在中文文本分类任务中取得更好的结果。
TextCNN网络详解（pytorch实现文本分类）
weixin_64017116的博客
05-13 1074
textcnn网络在NLP文档分类任务上有较好的性能，让我们来了解一个TextCNN的网络结构及pytorch代码实现
pytorch 实现 textCNN
杂文集
04-04 8682
textCNN 模型 textCNN模型主要使用了一维卷积层和时序最大池化层。假设输入的文本序列由nn个词组成，每个词用dd维的词向量表示。那么输入样本的宽为nn，高为1，输入通道数为dd。textCNN的计算主要分为以下几步。 定义多个一维卷积核，并使用这些卷积核对输入分别做卷积计算。宽度不同的卷积核可能会捕捉到不同个数的相邻词的相关性。 对输出的所有通道分别做时序最大池化，再将这些通道的池化输...
【Pytorch】学习记录分享10——TextCNN用于文本分类处理
格物致知
12-30 584
该代码对应上述的图像中的模块实现，CNN用于处理文本数据。
【从零开始学习深度学习】50.Pytorch_NLP项目实战：卷积神经网络textCNN在文本情感分类的运用
阿旭的博客
01-17 772
【从零开始学习深度学习】50.Pytorch_NLP项目实战：卷积神经网络textCNN在文本情感分类的运用
Pytorch TextCNN实现中文文本分类（附完整训练代码）
热门推荐
AI吃大瓜的博客
01-07 3万+
Pytorch TextCNN实现中文文本分类；TextCNN文本分类；Pytorch文本分类；中文文本分类
中文文本分类任务，基于PyTorch实现（TextCNN，TextRNN，FastText，TextRCNN，BiLSTM-At
最新发布
05-20
神经网络模型：TextCNN，TextRNN，FastText，TextRCNN，BiLSTM_Attention, DPCNN, Transformer 预训练模型：Bert，ERNIE 环境 python 3.7 pytorch 1.1 tqdm sklearn tensorboardX pytorch_pretrained_bert(预训练...
使用anaconda安装pytorch的实现步骤
09-16
主要介绍了使用anaconda安装pytorch的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
chinese_text_cnn：TextCNN Pytorch实现中文文本分类情感分析
02-03
TextCNN Pytorch实现中文文本分类论文参考 依赖项python3.5 pytorch == 1.0.0 torchtext == 0.3.1 jieba == 0.39词向量 （这里用的是Zhihu_QA知乎问答训练出来的单词Word2vec）用法python3 main.py -h训练python3 ...
PyTorch安装与基本使用详解
09-16
尽管TensorFlow是另一个广泛使用的深度学习库，但许多最新的研究论文和开源实现都基于PyTorch。PyTorch因其直观易用的API和动态计算图特性而受到欢迎，这使得调试和实验变得更加简单。 **安装PyTorch** 安装PyTorch...
pytorch实现textCNN
无所知的博客
12-17 3万+
pytorch实现textCNN1. 原理2. 数据预处理2.1 转换为csv格式2.2 观察数据分布2.3 由文本得到训练用的mini-batch数据3. 模型4. 训练脚本5. main函数6.引用 1. 原理 2014年的一篇文章，开创cnn用到文本分类的先河。Convolutional Neural Networks for Sentence Classification 原理说简单也简单...
pytorch文本分类（三）模型框架（DNN&textCNN）
qq_33489955的博客
12-18 1797
假设选择的激活函数是Sigmoid函数，隐藏层和输出层的输出值为a ，则对于下图的三层DNN，利用和感知机一样的思路，我们可以利用上一层的输出计算下一层的输出，也就是所谓的DNN前向传播算法。填充，卷积核与图像尺寸不匹配，往往填充图像缺失区域，如果原始图片尺寸为5X5，卷积核的大小为3X3，如果不进行填充，步长为1的话，当卷积核沿着图片滑动后只能滑动出一个3X3的图片出来，这就造成了卷积后的图片和卷积前的图片尺寸不一致，这显然不是我们想要的结果，所以为了避免这种情况，需要先对原始图片做边界填充处理。
TextCNN文本分类（Pytorch实现）
hellozhangxians的博客
08-14 2411
TextCNN进行文本分类的小任务
TextCNN新闻真假分类-pytorch版本
zzpl139的博客
11-06 724
TextCNN新闻真假分类-pytorch
pytorch搭建TextCNN与使用案例
呆萌的代Ma
08-16 744
TextCNN算法流程 整体流程是将词拼接在一起，一句话构成一个特征图 根据卷积核得到多个特征向量 每个特征向量全局池化，选最大的特征作为这个特征向量的值 拼接特征值，得到句子的特征向量 全连接后得到目标维度的结果 完整代码 #!/usr/bin/env Python # coding=utf-8 import torch import torch.nn as nn import torch.utils.data as Data import torch.nn.functional as F cl
PyTorch学习笔记 7.TextCNN文本分类
编程圈子-谢厂节的博客
12-30 963
模型定义3个卷积层，卷积大小分别是2，3，4。卷积激活函数使用relu。
pytorch下使用textcnn怎么进行文本分类
05-25
下面是使用PyTorch实现文本分类的TextCNN模型的基本步骤： 1. 数据预处理：将文本数据转换成数字形式，比如使用词袋模型或词嵌入（Word Embedding）等方式将每个单词映射成一个数字向量。 2. 定义模型结构：TextCNN模型主要由卷积层和池化层组成，可以使用PyTorch中的nn.Conv1d和nn.MaxPool1d等函数实现。 3. 模型训练：定义损失函数和优化器，并在训练集上训练模型。 4. 模型评估：在测试集上测试模型的性能，通常使用准确率（Accuracy）等指标来评估模型的性能。 下面是一个简单的示例代码，用于实现基于TextCNN的文本分类： ``` python import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embedding_dim, num_classes, kernel_sizes=[3, 4, 5], num_filters=100): super(TextCNN, self).__init__() self.embedding = nn.Embedding(vocab_size, embedding_dim) self.convs = nn.ModuleList([nn.Conv1d(in_channels=embedding_dim, out_channels=num_filters, kernel_size=ks) for ks in kernel_sizes]) self.fc = nn.Linear(len(kernel_sizes) * num_filters, num_classes) def forward(self, x): x = self.embedding(x) x = x.permute(0, 2, 1) x = [torch.relu(conv(x)) for conv in self.convs] x = [torch.max_pool1d(conv, conv.shape[2]).squeeze(2) for conv in x] x = torch.cat(x, dim=1) x = self.fc(x) return x ``` 其中，TextCNN类的构造函数中，vocab_size表示词表大小，embedding_dim表示词嵌入维度，num_classes表示分类类别数，kernel_sizes表示卷积核大小列表，num_filters表示卷积核数量。 在forward函数中，首先将输入x通过Embedding层转换为词向量，接着将其转置，以便输入到卷积层中。然后，对于每个卷积核，分别进行卷积操作，并通过ReLU激活函数进行非线性变换。接着，对于每个卷积结果，进行一维最大池化操作，得到每个卷积核对应的特征值。最后，将所有特征值拼接起来，并通过全连接层进行分类预测。 在训练模型时，可以使用PyTorch提供的交叉熵损失函数（nn.CrossEntropyLoss）和Adam优化器（torch.optim.Adam），并进行多轮迭代训练。 ``` python model = TextCNN(vocab_size, embedding_dim, num_classes) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) for epoch in range(num_epochs): for i, (inputs, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() # 在测试集上评估模型性能 with torch.no_grad(): correct = 0 total = 0 for inputs, labels in test_loader: outputs = model(inputs) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() accuracy = 100 * correct / total print('Epoch [{}/{}], Accuracy: {:.2f}%'.format(epoch+1, num_epochs, accuracy)) ``` 这里示例代码中，使用交叉熵损失函数和Adam优化器进行模型训练，并在每个epoch结束后，计算在测试集上的准确率。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值