jieba分词和去停用词

分享一个我的公众号，最近突然想玩公众号，之前做过一段时间前端开发，考虑到现在应用程序越来越多，未来社会一定是一个充满“只有你想不到，没有你做不到”的App的世界！而微信小程序又给我们这群喜爱开发的童鞋们提供了友好的入门机会，因此，不如就在当下，开始一步一步的学习并开发自己的小程序吧。这是我的公众号：目的是和大家讨论小程序开发，同时也带着开发小白入门设计开发微信小程序，来吧，加入！

 

正文：

转：http://blog.csdn.net/u010105243/article/details/53363416#comments

 

# -*- coding: utf-8 -*-
# Python3 to Python2
import jieba
import sys

sys.getdefaultencoding()
reload(sys)
sys.setdefaultencoding('utf-8')
sys.getdefaultencoding()

# jieba.load_userdict('userdict.txt')
# 创建停用词list
def stopwordslist(filepath):
    stopwords = [line.strip() for line in open(filepath, 'rb').readlines()]
    return stopwords

# 对句子进行分词
def seg_sentence(sentence):
    sentence_seged = jieba.cut(sentence.strip())
    stopwords = stopwordslist('F:/nnn/data/stopwords.txt')  # 这里加载停用词的路径
    outstr = ''
    for word in sentence_seged:
        if word not in stopwords:
            if word != '\t':
                outstr += word
                outstr += " "
    return outstr

with open('F:/nnn/data/input.txt', 'rb') as inputs:
    outputs = open('F:/nnn/data/output.txt', 'w')
    for line in inputs:
        line_seg = seg_sentence(line)  # 这里的返回值是字符串
        outputs.write(line_seg + '\n')
    outputs.close()
    inputs.close()

 

去停用词词库下载地址：http://download.csdn.net/download/u010105243/9695016