【Python NLP】：搜狗语料库-新闻语料处理

搜狗新闻语料处理

自然语言处理，最重要的当然是语料数据，选择搜狗实验室的语料库是不错的，但是模型训练前，需要对数据做一些处理，过程如下。

1、数据下载链接：搜狗新闻语料库

先在链接上下载“搜狐新闻数据(SogouCS)”，请直接下载“精简版”！（迷你版有雷。。。）

2、数据下载下来后是这样子的

3、数据量已经很大了，每一个txt采用的是ANSI编码方式

4、每个新闻可以根据url、contenttitle、content三者进行拆分

url：获取内容类别
contenttitle：获取内容标题，作为之后txt的文档名
content：正文内容

5、开始拆分数据

import re
import os

class Sougou(object):
    def __init__(self):
        self.directory =  'sogoucs/'
        self.file = [file for a,b,file in</