Task6 基于深度学习的文本分类3-BERT

最新推荐文章于 2024-09-23 18:03:01 发布

weixin_45116604

最新推荐文章于 2024-09-23 18:03:01 发布

阅读量143

点赞数

分类专栏：新闻分类文章标签：自然语言处理机器学习数据挖掘 nlp

本文链接：https://blog.csdn.net/weixin_45116604/article/details/107804302

版权

新闻分类专栏收录该内容

6 篇文章 0 订阅

订阅专栏

BERT

微调将最后一层的第一个token即[CLS]的隐藏向量作为句子的表示，然后输入到softmax层进行分类。
预训练BERT以及相关代码下载地址：链接: https://pan.baidu.com/s/1zd6wN7elGgp1NyuzYKpvGQ 提取码: tmp5

import logging
import random

import numpy as np
import torch

logging.basicConfig(level=logging.INFO, format='%(asctime)-15s %(levelname)s: %(message)s')

# set seed
seed = 666
random.seed(seed)
np.random.seed(seed)
torch.cuda.manual_seed(seed)
torch.manual_seed(seed)

# set cuda
gpu = 0
use_cuda = gpu >= 0 and torch.cuda.is_available()
if use_cuda:
    torch.cuda.set_device(gpu)
    device = torch.device("cuda", gpu)
else:
    device = torch.device("cpu")
logging.info("Use cuda: %s, gpu id: %d.", use_cuda, gpu)