Python有很多分词工具可以使用,其中最常用的是使用jieba库进行中文分词处理。以下是一个使用jieba库实现简单的分词处理的示例代码:
python复制插入
import jieba
text = "我爱北京天安门"
# 使用精确模式进行分词
words = jieba.cut(text, cut_all=False)
# 输出分词结果
for word in words:
print(word)
运行以上代码,输出结果如下:
我
爱
北京
天安门
这里使用了jieba库的cut
函数进行分词,第一个参数是待分词的文本,第二个参数cut_all
表示是否使用全模式进行分词(即将文本中所有可能的词语都进行分词),这里使用了精确模式。cut
函数返回的是一个可迭代对象,可以使用for
循环遍历获取分词结果。
使用jieba库完成简单的中文分词以后,就可以在此基础上进行下一步的语义分析工作。