python读取txt文件分词_用Python实现本文分词以及本地保存

原标题：用Python实现本文分词以及本地保存

欢迎关注天善智能 hellobi.com，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习、问答、求职，一站式搞定！

对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。

我们通常在做中文文本分析的时候，首先都需要先对文本进行分词，分割成我们想要的形式，这里的话我就使用python进行文本分词，并保存在本地相应文件夹中，这里的话我使用的数据集是answer；好像复旦大学某个人收集的，抱歉，我没记住名字，至少说明我还是有点责任感，哈哈；

入正题因为使用的python进行分词的话，我们就不得不进行一下对jieba的简短介绍，毕竟这里的重点不是讲jieba,这个小而精悍的分词系统完全够我们用了，有兴趣的同学可以百度一下他们的口号；这里的话我看社区有个人写的挺好的，这里就不多写了；

链接：https://ask.hellobi.com/blog/wangdawei/8300感谢这位作者的辛勤劳动；

首先导入我想要的包

# -*- coding: UTF-8 -*-

import sys

import os

import jieba

然后设置一下我们的中文环境，毕竟我的Python是2.7，不是3版本，会有编码的问题，蛋疼 # 设置中文环境

relo