python--nltk库预处理德语文本

1.文本预处理

程序的目的是找出高频不认识的词汇,因此直接删除停用词后再分词,以减小文本处理量。将文本噪音去除放在了最后,原因是书籍文本一般较为规整,在前序两步完成后已变为字符串,最后处理简单方便(仅判断是否为字符即可)。因此分3步做文本预处理。

  • 删除停用词
  • 分词
  • 去除文本噪音

1.1 删除停用词

nltk中停用词查找方式:

import nltk
from nltk.corpus import stopwords
set(stopwords.words('german'))

德语原有停止词共232个

1.2 分词

即,将语句转为单独字符串

#step2 tokenize
word_tokens=word_tokenize(text)
filtered_txt=[]
for w in word_tokens:
    if w not in stopwords:
        filtered_txt.append(filtered_txt)

1.3 去除文本噪音

#清除无效字符,返回tagged_clean
#删除filtered_txt 中元素[0]不包含在字母表中的元素
list_len=len(filtered_txt)
filtered_clean=[]
for i in range(list_len): 
    words=tagged_added[i]
    if words[0].isalpha():
        filtered_clean.append(tagged_added[i])

2. 标准化文本

德语变格及时态极多,通过NLTK的WordLemmatizer()函数进行词形还原(Lemmatization),另,词形还原在使用时,最好先指定单词的词性。标准化文本步骤:

  • 获取词性
  • 转换pos位(增加词性)
  • 还原词形

2.1 获取词性

在NLP中,使用Parts of speech(POS)技术实现。在nltk中,使用nltk.pos_tag()获取单词在句子中的词性。

#step3 tags标注词性
tagged_added = nltk.pos_tag(tokens)

tagged_added为:

[
 ('Vorbemerkung', 'NNP'),
 ('Herausgebers', 'NNPS'),
 ('Die-Welt-von-Gestern', 'NNP'),
 ('Vorbemerkung', 'NNP'),
 ('HerausgebersStefan', 'NNP'),
 ('Zweigs', 'NNP'),
 ('›Welt', 'NNP'),
 ('Gestern‹', 'NNP'),
 ('großartiges', 'NNS'),
 ('Denn', 'NNP'),
 ('Rückschau', 'NNP'),
 ('weit', 'VBD'),
 ('mehr', 'JJ'),
 ('Autobiographie', 'NNP'),
 ('Blick', 'NNP'),
 ('beschauliche', 'NN'),
 ('behütete', 'NN'),
 ('Kindheit', 'NNP'),
 ('Jugend', 'NNP'),
 ... ...

POS词性对照表:
在这里插入图片描述
在这里插入图片描述

2.2 转换pos位(增加词性)

WordNetLemmatizer()的pos参数定义了词形还原时的先行判断原词为形容词、动词、名词等,以增加原形还原准确度。

以nltk.pos_tag()获取的词性不能直接传入做为pos的实参,因此需定义转换函数:

#step5-1 单词的词性对应
def get_wordnet_pos(tag):
    if tag.startswith('J'):
        return wordnet.ADJ
    elif tag.startswith('V'):
        return wordnet.VERB
    elif tag.startswith('N'):
        return wordnet.NOUN
    elif tag.startswith('R'):
        return wordnet.ADV
    else:
        return None

2.3 还原词形

# step5-2 词形还原
wnl = WordNetLemmatizer()
Lemmatized=[]
for word in tagged_clean:
    wordnet_pos = get_wordnet_pos(word[1]) or wordnet.NOUN
    Lemmatized.append(wnl.lemmatize(word[0], pos=wordnet_pos)) 

原文为:
在这里插入图片描述
预处理后原形为:

*发现德语效果并不好,如umfasst等,并未全部还原为原形。
尝试获取词干方法。

2.4 获取词干

词干获取时可设置语言。

from nltk.stem import SnowballStemmer
print(SnowballStemmer.languages)
('arabic', 'danish', 'dutch', 'english', 'finnish', 'french', 'german', 'hungarian', 'italian', 'norwegian', 'porter', 'portuguese', 'romanian', 'russian', 'spanish', 'swedish')

参考

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页
评论 4

打赏作者

rachelnew1900

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值