【聊天机器人】文本分词
【ChatBot】文本分词1. 准备词典和停用词1.1 准备词典1.2 准备停用词2. 准备按照单个字切分句子的方法3. 完成分词方法的封装1. 准备词典和停用词1.1 准备词典1.2 准备停用词stopwords = set([i.strip() for i in open(config.stopwords_path).readlines()])2. 准备按照单个字切分句子的方法def _cut_by_word(sentence): # 对中文按照字进行处理,对英文不分为字母
复制链接