转自:http://blog.csdn.net/harryhuang1990/article/details/11888293
在进行文本分析的时候我们经常需要过滤掉停用词,标点等,本文给大家介绍一下如何识别并删除文本中的所有标点符号。下面是三个可行的正则表达式方案,童鞋们来试试吧^_^
在进行文本分析的时候我们经常需要过滤掉停用词,标点等,本文给大家介绍一下如何识别并删除文本中的所有标点符号。下面是三个可行的正则表达式方案,童鞋们来试试吧^_^
(1)不能完全清楚所有标点,(2)和(3)等价都能完全清楚标点(中文和英文都能清除)
需要注意的是,还是存在一些系统不认为是标点的半角和全角符号无法清除,如下所示:
修改后:
注意一下, JDK 5 或以下的环境中不支持全角单引号对、双引号替换。在 JDK 6 中由于加入了Pi 和 Pf 两个 Unicode 子属性,因此就能替换掉。
在 JDK 6 以下的版本中可以这样: