提示:当检测到敏感词后我们要把敏感词替换成符号 “***”
前言
在社交化的电商项目中,很多用户提交的信息涉及敏感性,比如:用户评论、用户发表的动态等。目前平台已经介入第三方平台的Saas服务,在线过滤用户提交的敏感词信息。然后,在实际使用过程中存在一些敏感词漏处理的情况,从而导致平台声誉受损。基于此,我们准备在平台增加一个自定义敏感词过滤的功能模块,对于第三方敏感词服务漏处理的敏感词,我们将通过后台配置在敏感词库中,并进行补充处理。
一、引入库(包)
代码如下(示例):
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.CharUtils;
import org.springframework.util.StringUtils;
import java.util.HashMap;
import java.util.Map;
二、校验文本是否存在敏感词
代码如下(示例):
/**
* @descriptions: TODO 校验文本是否存在敏感词
* @author: kangsx184@tydic.com
* @date:
* @version: 1.0
*/
public static boolean isHaveSensitive(String text) {
boolean isSensitive = false;
// 指针1,指向树
TrieNode tempNode = rootNode;
// 指针2,指向正在检测的字符串段的首
int begin = 0;
// 指针3,指向正在检测的字符串段的尾
int position = 0;
// 储存过滤后的文本
StringBuilder sb = new StringBuilder();
while (begin < text.length()) {
char c = text.charAt(position);
// 跳过符号,比如 “开票”是敏感词 #开#票# 这个字符串中间的 '#' 应该跳过
if (isSymbol(c)) {
// 是特殊字符
// 若指针1处于根节点,将此符号计入结果,指针2、3向右走一步
if (tempNode == rootNode) {
sb.append(c);
begin++;
}
// 无论符号在开头或中间,指针3都向下走一步
position++;
// 符号处理完,进入下一轮循环
continue;
}
// 执行到这里说明字符不是特殊符号
// 检查下级节点
tempNode = tempNode.getSubNode(c);
if (tempNode == null) {
// 进入下一个位置
position = ++begin;
// 重新指向根节点
tempNode = rootNode;
} else if (tempNode.isKeywordEnd()) {
isSensitive = true;
break;
} else {
// 检查下一个字符
position++;
}
}
return isSensitive;
}
三、创建前缀树(TrieNode )
1.添加敏感词
代码如下(示例):
// 将一个敏感词添加到前缀树中
public static void addKeyword(String keyword) {
// 首先默认指向根
TrieNode tempNode = rootNode;
for (int i = 0; i < keyword.length(); i++) {
char c = keyword.charAt(i);
TrieNode subNode = tempNode.getSubNode(c);
if (subNode == null) {
// subNode为空,初始化子节点;subNode不为空,直接用就可以了
subNode = new TrieNode();
tempNode.addSubNode(c, subNode);
}
// 指针指向子节点,进入下一轮循环
tempNode = subNode;
}
// 最后要设置结束标识
tempNode.setKeywordEnd(true);
}
// 前缀树
private static class TrieNode {
// 关键词结束标识
private boolean isKeywordEnd = false;
// 当前节点的子节点(key是下级字符、value是下级节点)
private Map<Character, TrieNode> subNodes = new HashMap<>();
public boolean isKeywordEnd() {
return isKeywordEnd;
}
public void setKeywordEnd(boolean keywordEnd) {
isKeywordEnd = keywordEnd;
}
// 添加子节点
public void addSubNode(Character c, TrieNode node) {
subNodes.put(c, node);
}
// 获取子节点
public TrieNode getSubNode(Character c) {
return subNodes.get(c);
}
}
2.判断是否存在特殊字符
代码如下(示例):
// 判断是否为特殊符号,是则返回true,不是则返回false
private static boolean isSymbol(Character c) {
// CharUtils.isAsciiAlphanumeric(c)方法:a、b、1、2···返回true,特殊字符返回false
// 0x2E80 ~ 0x9FFF 是东亚的文字范围,东亚文字范围我们不认为是符号
return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
}
up:如存在异常,可单独(捕获/抛出)处理。