NLP自然语言处理-英文文本电影影评分类2-pytorch版本

bug生成中

已于 2023-02-05 13:04:12 修改

阅读量599

点赞数 1

分类专栏： python实用思路讲解文章标签： pytorch 自然语言处理神经网络

于 2021-08-27 09:50:43 首次发布

本文链接：https://blog.csdn.net/qq_34904125/article/details/119945597

版权

python实用思路讲解专栏收录该内容

106 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本篇博客继续探讨英文电影影评分类，使用PyTorch进行自然语言处理。通过分词处理数据集，并保存为pkl模型。数据集包含124020条评论，根据后缀数字区分积极和消极影评。已提供代码示例，创建数据模型。请关注、点赞以支持更新。

摘要由CSDN通过智能技术生成

上一篇介绍了数据集制作，但又没完全介绍。这篇将数据集文本进行分词保存pkl模型

imdb共有124020个数据，用于训练影评是积极（pos）话说消极（neg）的。消极文本的命名是在“_”后缀数字都是小于5的，反之不小于5的后缀命名是积极的评论文本。

代码如下：

# -*-coding:utf-8-*-
import pickle
from tqdm import tqdm
import dataset
from torch.utils.data import DataLoader

class Vocab:
    UNK_TAG = "<UNK>"  # 表示未知字符
    PAD_TAG = "<PAD>"  # 填充符
    PAD = 0
    UNK = 1

    def __init__(self):
        self.dict = {  # 保存

了解本专栏