在进行中文文本分类时,文本中的标点符号和特殊字符对模型的训练是没有用的,需要去除,这里是利用ord()函数,ord()函数接收一个字符,返回字符的ASCII值,下面是示例代码(只能去除英文格式的标点符号):
a='abc,2013年的一个新闻!,@#% 娱乐'
b=''
for i in a:
if (ord(i)>=32 and ord(i)<=47) or (ord(i)>=58 and ord(i)<=64) or (ord(i)>=91 and ord(i)<=96) or (ord(i)>=123 and ord(i)<=126):
continue
else:
b+=i
print(b) #abc2013年的一个新闻娱乐