Python笔记之——txt文本数据预处理

sweettea~

已于 2022-06-24 14:34:50 修改

阅读量1k

点赞数

分类专栏：个人笔记 Python

于 2022-06-24 14:34:14 首次发布

本文链接：https://blog.csdn.net/sweet_tea_/article/details/125444934

版权

python 开发语言人工智能

Python 同时被 2 个专栏收录

54 篇文章 5 订阅

订阅专栏

个人笔记

3 篇文章 0 订阅

订阅专栏

个人Python学习笔记
原始数据集处理前格式：

raw_file = 'D:/anaconda/envs/text classification_chinese/Bert-Pytorch/THUCNews/data/dev.txt'
raw_text=open(raw_file, encoding='utf-8')
txt=[]
for line in raw_text:
    txt.append(line.strip())# line.strip() 去除首尾空格
print(txt)

在这里插入图片描述
处理后格式：

from tqdm import tqdm
labels = [
    "0", "1", "2", "3", "4", "5", "6","7", "8", "9"]
num_classes = len(labels)
def load_dataset(filename):
    D = []
    with open(file, 'r', encoding='UTF-8') as f:
        for line in tqdm(f):
            lin = line.strip()
            if not lin:
                continue
            text, label = lin.split('\t')
            D.append((text, labels.index(label)))
    return D
file = 'D:/anaconda/envs/text classification_chinese/Bert-Pytorch/THUCNews/data/dev.txt'
valid_data = load_dataset(file)
print(valid_data)