需求
最近在作文本分类,拿到的数据很乱。要作下一步,无论是分词仍是tfidf都要先作数据的分类。python
元数据
3万篇文章,在一个excel中,每行有每篇文章的id、内容(title_content)、分类(relative breeds),(共三列)。git
目标
按分类建立子目录,文章按分类放入子目录中,每篇文章写入一个txt文件,txt文件标题为文章idgithub
README
excel的读入使用了pandas,pandas的逐行读取功能很好用。函数
网上有些教程使用了xlrd,感受有点复杂,并且xlrd好像有文件大小的限制。相比较而言pandas没有大小限制,我的感受速度也比较快。编码
路径的操做使用了python标准库os。.net
一样的方法,也能够读取txt写入excel,读取csv写入excel。只须要更改pandas的读取文件函数就行了。excel
pandas真好用啊code
"""
@version:python3.6
@author:chenyaooo
@concact:sunchingyo@icloud.com
"""
import pandas as pd
import os
def creatcatesdir(data, target):
"""
建立类别目录
"""
# 获取去重后的分类列表
cates =