关于文本预处理的几个常用函数(持续补充…)
闲话少说,直接上代码
def process(content):
"""
去掉文本中的空格
"""
ml = map(lambda: x.replace(" ",''),content)
return list(m1)
def is_chinese(uchar):
'''
判断是否是中文字符
'''
if uchar >= u'\u4e00' and uchar <= u'\u9fa5':
return True
else:
return False
def format_str(content):
'''
只保留汉字
'''
content = ''
for i in content:
if is_chinese(i):
content_str = content_str + i
return content_str