python数据预处理学习笔记——自定义去停用词

import re,jieba,sys
"""
Description:自定义去停用词
Prompt: code in Python3.7 env
安装jieba分词  pip install jieba
"""

#读取文本信息
def readfile(path):
    str_doc = ''
    #只读方式打开文件
    with open(path,'r',encoding='utf-8') as f:
        #逐行读取文件，包括换行符 
        str_doc = f.read()
    
    return str_doc


#正则表达式对字符串清洗
def textParse(str_doc):
    # 将文本中特殊符号、标点、英文、数字等过滤。
    r1 = '[a-zA-Z0-9’!"#$%&\'()*+,-./:：;；|<=>?@，—。?★、…【】《》？“”‘’！[\\]^_`{|}~]+'
    str_doc=re.sub(r1, ' ', str_doc)
    #将文本中所有全角空格过滤
    str_doc = re.sub('\u3000', '', str_doc)

    # 文本去除空格
    str_doc=re.sub('\s+', ' ', str_doc)

    # 文本去除换行符
    str_doc = str_doc.replace('\n',' ')
    return str_doc

#jieba分词，返回切词后的词列表
def seg_doc(str_doc):
    #将readfile函数读取的文本按\n分割成列表
    sent_list = s