项目
文章平均质量分 94
Hiweir ·
日常分享NLP自然语言处理的学习笔记,
若大佬们发现了我的学习错误,欢迎大佬们指正,万分感谢
展开
-
NLP任务之预测最后一个词
针对这个vocab_size=50257的问题,分类类别就是50257个类别。#预测下一个词,只需要数据集中的sentence, 不需要label和idx。#使用map函数做映射。处理只剩下sentence。#预测最后一个词:是一个多分类问题。原创 2024-09-29 20:01:44 · 361 阅读 · 0 评论 -
huggingface实现中文文本分类
自定义数据集#需要继承 torch.utils.data.Dataset,#并且实现__init__(self)/__len__(self)/__getitem__(self,i)这些方法#加载本地磁盘的datasetsself.datasets = load_from_disk('../data/ChnSentiCorp') #self.datasets是一个字典,包含训练、校验、测试的datatset。原创 2024-09-28 22:17:01 · 587 阅读 · 0 评论