java 正则去除中文标点符号

在作文本分析,尤其是分词的时候,我们需要把不需要的标点符号去除,防止在词转向量的时候,把中文符号添加进去。

"[\\pP+~$`^=|<>~`$^+=|<>¥×]"
"[\\p{P}+~$`^=|<>~`$^+=|<>¥×]"

我使用的是ansj分词器,其5.x版本有提供Recognition接口,用于在分词的时候剔除不需要的,比如剔除停用词、标点符号,根据词性剔除一批词,也支持正则表达式,很强大。
我只写了demo:

JSONObject jsonObject = JSONObject.parseObject(ss);
                String content = jsonObject.getString("content");
                FilterRecognition filterRecognition = new FilterRecognition();
                filterRecognition.insertStopNatures("m","w");
                filterRecognition.insertStopRegex("[\\pP+~$`^=|<>~`$^+=|<>¥×]");
                filterRecognition.insertStopRegex("•");
                Result parse = NlpAnalysis.parse(content.replaceAll("\\s+","")).recognition(filterRecognition);
                Set<String> str = new HashSet<String>();
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值