本次项目是文本分类任务,在做这个任务之前犹豫过是不是先写有个文本生成类的,前段时间也做了个对中文的词预测(只有数据处理和用到的模型不一样),但是考虑到文本分类在NLP也是最普遍的,很多项目的开始都会出现,以下将整理我的知识点,必要的时候会放一些代码
一:数据处理准备
一:收集数据
可通过爬虫,下载,或者是huggingface中提取都可以
二:数据预处理
在这一步骤开始非常的重要,数据的质量会直观的影响分类的结果
1:解析类别:
本地中有多个文件数据例如(体育,股票,教育...),每个文件夹里面对应相关的文本信息,首先需要将每个文件夹定一个一个标签,例如(体育:A,股票:B,教育:C)
2:加载所有文件:
读

最低0.47元/天 解锁文章
2304

被折叠的 条评论
为什么被折叠?



