2020-12-25

最新推荐文章于 2023-05-31 09:45:14 发布

uuuu-zyy

最新推荐文章于 2023-05-31 09:45:14 发布

阅读量260

点赞数

文章标签： python

本文链接：https://blog.csdn.net/m0_46689999/article/details/111708711

版权

这篇博客记录了如何使用Python构建一个情感分类器，通过IMDB数据集进行训练，包括下载数据、分词、建立词表、生成向量批数据和创建网络模型的步骤。

摘要由CSDN通过智能技术生成

学习笔记

通过构建情感分类器训练词向量

使用IMDB数据集，构建一个用于计算评论的情感是正面、负面还是未知的情感分类器，在构建过程中，将为IMDB数据集中存在的词进行词向量的训练。

训练情感分类器包含以下步骤：

下载IMDB数据，并分词
建立词表
生成向量的批数据
使用词向量创建网络模型
训练模型

import torch
from torchtext import data
from torchtext import datasets
from torch import nn, optim
from torch.nn import functional as F
from torchtext.vocab import GloVe

'''
torchtext.data和torchtext.datasets
torchtext.data可以处理数据
torchtext.datasets可以下载数据集


下载数据，并对文本分词
'''
# Field类用来定义数据如何读取和分词
# 对所有文本小写并分词，最大长度为20
TEXT=data.Field(lower=True,batch_first=True,fix_length=20)
LABEL=data.Field(sequential=False)

train,test=datasets.IMDB.splits(TEXT,LABEL)
# train.fields包含一个字典，其中TEXT是键，值是LABEL

'''
构建词表
'''
#创建train对象，并让它使用维度为300的预训练词向量来初始化向量。
TEXT.build_vocab(train,vectors=GloVe(name='6B',di