中文数据清洗

1、HTML标签去除

        从Web获得的数据通常包含许多HTML实体、注释，如lt；& gt；& &；，嵌入在原始数据中。这些信息属于噪音数据，会严重影响数据的质量，需要使用正则表达式去除。

2、去除URL

        网页文本数据中，如推特、评论中，会包含一些URL和链接，根据业务需求，不是项目需要的数据，因此需要去除。

3、长串数字、特殊符号去除

        通常情况下中文文本中长串的数字代表手机号、车牌号、用户名ID等文本内容，在非特定的文本任务情境下可以去除。或者将其转换为归一化的特征，如是否出现长串数字的布尔值特征HAS_DIGITAL、按长度归一的DIGIAL_LEN_10等。每篇文本数据中可能会包含一些空格、tab键和\u4300等一些与业务需求无关的符号，需要先对每篇文章进行分句，然后使用规则方法进行去除。

4、无意义的文本