自己的思路-套Bert-Chinese-Text-Classification-Pytorch-master语料处理流程
-
把数据集按比例划分train(0.7),test(0.15)和dev(0.15)
-
在excel里把train,test和dev使用=RAND(),打乱排序。
-
分类从0开始,不允许有负值。(当时报错提示“交叉熵要让目标值从0开始”)
-
转换成txt格式,编码要为“utf-8”
-
内容和格式的分隔符:要记得查看在在内容里是是否存在相同的分割符,如果存在相同的分隔符,需要处理掉(目的是防止程序识别错误,分割错误)
-
导入自己语料时,经常出现的错误。“超过所需要的值”,提示:去检查自己的内容和标签分割问题,检查语料。