python里split函数进行文本词语分割

最新推荐文章于 2025-04-20 08:09:39 发布

六月闯天涯

最新推荐文章于 2025-04-20 08:09:39 发布

阅读量2.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： python应用文章标签： python

本文链接：https://blog.csdn.net/weixin_47775328/article/details/120133639

python应用专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一名五年级小学生如何通过汉语分词和简单的英语分词理解编程，并展示了Python代码实例。同时探讨了英语简写分词技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 汉语分词
text='我是一名五年级的小学生，我喜欢写程序。'
print(text.split())
CHwords=[]
for word in text.split():
CHwords.extend(word)
print(CHwords)
# 英语分词
text='I am a chinese girl!!'
EGwords=[]
for word in text.split():
EGwords.append(word)
print(EGwords)
# 英语简写分词
text='I\'m a chinese girl!!'
for char in '-.,;!\n"\'': # 将标点符号用空格代替
text=text.replace(char,' ')
print(text)
# ''的长度是0，因此将words中长度为0的删除。
newwords=[]
for word in text.split(): # 依据空格来进行词语分割
if(len(word)!=0):
# 对于字符变量append()和extend()功能不一样
newwords.append(word)
print(newwords)

程序运行结果：
['我是一名五年级的小学生，我喜欢写程序。']
['我', '是', '一', '名', '五', '年', '级', '的', '小', '学', '生', '，', '我', '喜', '欢', '写', '程', '序', '。']
['I', 'am', 'a', 'chinese', 'girl!!']
I m a chinese girl
['I', 'm', 'a', 'chinese', 'girl']

注释：extend和append的区别不做解释啦