这是一份示例代码,用于识别句子的功能:
import nltk
nltk.download('punkt')
sentence = "这是一个测试句子。"
tokens = nltk.word_tokenize(sentence)
print(tokens)
首先,我们使用 nltk
库中的 word_tokenize
函数将句子分词。然后,使用 print
函数输出分词结果,以验证程序的正确性。
请注意,在使用 word_tokenize
函数之前,需要下载 punkt
分词器,因此需要运行 nltk.download('punkt')
进行下