# 汉语分词
text='我是一名五年级的小学生,我喜欢写程序。'
print(text.split())
CHwords=[]
for word in text.split():
CHwords.extend(word)
print(CHwords)
# 英语分词
text='I am a chinese girl!!'
EGwords=[]
for word in text.split():
EGwords.append(word)
print(EGwords)
# 英语简写分词
text='I\'m a chinese girl!!'
for char in '-.,;!\n"\'': # 将标点符号用空格代替
text=text.replace(char,' ')
print(text)
# ''的长度是0,因此将words中长度为0的删除。
newwords=[]
for word in text.split(): # 依据空格来进行词语分割
if(len(word)!=0):
# 对于字符变量append()和extend()功能不一样
newwords.append(word)
print(newwords)
程序运行结果:
['我是一名五年级的小学生,我喜欢写程序。']
['我', '是', '一', '名', '五', '年', '级', '的