情感分类之数据处理

深度学习的快速发展离不开庞大的数据量，做好数据处理是深度学习的第一步。

paddlehub是百度提供的预训练模型管理平台，提供Fine-tune API，使用paddlehub可以使预训练模型更加简单。

然而paddlehub对自定义数据有格式要求，要求相应的数据格式为第一列是文本内容text_a，第二列为文本类别label。列与列之间以Tab键分隔。数据集文件第一行为text_a label（中间以Tab键分隔）,保存为tsv文件。

而我的原数据是csv文件，首先要把csv文件（以逗号分隔）转为tsv文件（以Tab键分隔）：

import pandas as pd
from sklearn.utils import shuffle  # 用于数据的随机排列，也可不用

if __name__ == '__main__':
    dtype_dic = {0: str}  # 设置数据读取的类型
    # 此处是读取中文数据，如果是英文数据，编码可能是'ISO 8859-1'
    pd_all = pd.read_csv("test.csv", sep=',', header=None, dtype=dtype_dic, encoding='utf-8')  # "../test_dataset/predict.csv"
    # pd_all[0].astype('int')
    # 打乱数据
    # pd_all = shuffle(pd_all)
    # 保存为tsv文件，当然也可以保存为csv文件，二者区别在于sep为'\t'还是','
    pd_all.to_csv("test.tsv", index=False, sep='\t')  # index = False 不保存索引

如果遇到读取文件时编码问题，需要先使用Notepad++将文件转为UTF-8编码。

由于原数据中存在不符合要求的数据，尽量先检查数据格式，不能有一丝错误。否则，在深度学习跑代码过程中将会出现数据读取错误。