基于pytorch的自建模型简单文本分类(fit函数有变化)

import torch
import torchtext
import numpy as np
import torch.nn.functional as F
from torchtext.vocab import GloVe
import torch.nn as nn
import time

start=time.time()

#定义样本处理操作
#小写 截取评论长度为200(少了填充、多了截取) 第一维度是batch
TEXT = torchtext.data.Field(lower=True,fix_length=200,batch_first=True)
#sequential表示是否顺序
LABEL = torchtext.data.Field(sequential=False)

#下载torchtext内置的IMDB电影评论数据集并切分训练集和测试集
#Field知道如何处理原始数据,用户告诉Field去哪里处理
train,test = torchtext.datasets.IMDB.splits(TEXT,LABEL)

#创建词表
#训练集、出现次数最多的10000个单词创建词表、若单词出现次数少于3则抛弃
TEXT.build_vocab(train,max_size=10000,min_freq=3)
LABEL.build_vocab(train)
#生成器
train_iter, test_iter = torchtext.data.BucketIterator.splits((train,test),batch_size=16)

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

#创建模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        #nn.Embedding()类似于nn.Conv2d()
        #有len(TEXT.v
  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值