Python 白名单的处理

最新推荐文章于 2023-10-08 13:51:23 发布

sissi_shen

最新推荐文章于 2023-10-08 13:51:23 发布

阅读量3.4k

点赞数

分类专栏： python 文章标签： Python 白名单

本文链接：https://blog.csdn.net/lovemianmian/article/details/8870495

版权

本文介绍了在项目中处理Python白名单词汇的需求，白名单可能包含单词或词组，且存在不规则变化形式。文章探讨了一种有效进行词干提取的方法。

摘要由CSDN通过智能技术生成

项目中需要将 whitelist中的单词，进行词干的提取工作。

whitelist可能如下：

sissied

loveed

mianmianies hit

Mut had

因为白名单中可能是单词也可能是词组，而且一些单词可能是三单形式、过去式。

研究了一下，下面的方法可行。

#-*- coding:utf-8 -*-
import nltk


f=open("../test","r")
test=f.read()       # test='sissied\nloveed\nmianmianies hit\nMut had\n'


whitelist = []
word=[]


for w in test:     #读取的test中的每一个基本字符
    if w != '\n':  
   	 word.extend(w)  #在遇到换行符之前，把test中的字母追加到word中，即word用来临时保存whitelist每一行的内容
    else :
        whitelist.append([''.join(word)])  #把word的['s','i','s','s','i','e','d']合并为[‘sissied’]
	word=[]                            #然后把word清零，存放下一个单词



def stem( word):      
        if word[0].islower():    #判断world的