如何做简单分词

import re
from operator import add
num="wanglin is a good boy!"
print(num.split())


# print(list(filter(None,num)))
arr=list(filter(None,num))
print(arr)
test=[]
strstr=''
for i in arr:
	if i!=' ' and i!='!':
		strstr+=i
	else:
		test.append(strstr)
		strstr=''
print(test)

这段代码可以实现基本的空格分词，由此也可知，英文分词要远比中文分词简单得多，其中，当限制条件if内容由(i!=' ' and i!='!')改为一个i与一个函数，该函数内容是如果i是与单词内容无关的字符就返回真，反之，则为假。
这就可以做一个简单的英文分词了。