英语断句

最新推荐文章于 2023-06-15 02:42:28 发布

artemisrj

最新推荐文章于 2023-06-15 02:42:28 发布

阅读量3k

点赞数

分类专栏： python 文本

本文链接：https://blog.csdn.net/artemisrj/article/details/50479362

版权

博客介绍了如何利用nltk的punkt模块进行英语断句，指出了简单断句可能遇到的问题，如处理姓氏Mr. Smith等特殊情况，并提到该模块需要大规模语料库训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一种方式是利用nltk的断句功能
http://www.nltk.org/api/nltk.tokenize.html
nltk.tokenize.punkt 模块

断句的问题：简单的断句虽然可以利用一些标点符号断句，但是这里面有个问题是比如姓氏 Mr. Smith这样的句子，断句就会有问题。

这个模块需要大的预料库进行训练。
用法也很简单

>>> import nltk.data
>>> text = '''
... Punkt knows that the periods in Mr. Smith and Johann S. Bach
... do not mark sentence boundaries.  And sometimes sentences
... can start with non-capitalized words.  i is a good variable
... name.
... '''
>>> se