过滤敏感词
方案一:
对输入的字符串进行过滤,调用API判断有无敏感词。例如String中的replace方法可以替换敏感词。但是在实际开发中,输入的字符串可能会很长(如长篇文章或评论),性能会很差。
方案二:
利用前缀树过滤敏感词
前缀树(Trie、字典树、查找树)
前缀树的查找效率很高,但是占用内存高。
设计过滤敏感词工具:
- 定义前缀树的数据结构
- 获取敏感词
- 根据敏感词初始化前缀树
- 编写过滤方法,包括对字符中的特殊字符做处理
具体实现方法
- 在resources包下建立文件sensitive-words.txt存放要过滤的敏感词
- 在工具包util下创建类封装过滤敏感词功能
package com.learn.test.util;
import org.apache.commons.lang3.CharUtils;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;
import javax.annotation.PostConstruct;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.Map;
@Component
public class SensitiveFilter {
private static final Logger logger = LoggerFactory.getLogger(SensitiveFilter.class);
// 替换符
private static final String REPLACEMENT = "---";
// 根节点
private TrieNode rootNode = new TrieNode();
//定义 前缀树
private class TrieNode {
// 关键词结束标识
private boolean isKeywordEnd = false;
// 子结点(key是下级字符,value是下级结点)
private Map<Character, TrieNode> subNodes = new HashMap<>();
public boolean isKeywordEnd() {
return isKeywordEnd;
}
public void setKeywordEnd(boolean keywordEnd) {
isKeywordEnd = keywordEnd;
}
// 添加子结点
public void addSubNode(Character c, TrieNode node) {
subNodes.put(c, node);
}
// 获取子结点
public TrieNode getSubNode(Character c) {
return subNodes.get(c);
}
}
@PostConstruct//这是个初始化方法,容器实例化bean后调用(服务启动时就被初始化)
public void init() {
//try、catch自动加finally关闭字节流
try (
//读取敏感词(字节流)
InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
//字节流转为字符流再转为缓冲流(效率高)
BufferedReader reader = new BufferedReader(new InputStreamReader(is));
) {
String keyword;
while ((keyword = reader.readLine()) != null) {
// 添加到前缀树
this.addKeyword(keyword);
}
} catch (IOException e) {
logger.error("加载敏感词文件失败: " + e.getMessage());
}
}
// 将一个敏感词添加到前缀树中
private void addKeyword(String keyword) {
//tempNode默认指向根
TrieNode tempNode = rootNode;
for (int i = 0; i < keyword.length(); i++) {
//得到一个字符
char c = keyword.charAt(i);
//获取子结点
TrieNode subNode = tempNode.getSubNode(c);
//如果为空,当前结点增加子结点
if (subNode == null) {
// 初始化子节点
subNode = new TrieNode();
tempNode.addSubNode(c, subNode);
}
// 指向子结点,进入下一轮循环
tempNode = subNode;
// 设置结束标识
if (i == keyword.length() - 1) {
tempNode.setKeywordEnd(true);
}
}
}
/**
* 过滤敏感词
*
* @param text 待过滤的文本
* @return 过滤后的文本
*/
public String filter(String text) {
if (StringUtils.isBlank(text)) {
return null;
}
// 指针1 指向根
TrieNode tempNode = rootNode;
// 指针2 指向字符串首位
int begin = 0;
// 指针3 指向字符串首位
int position = 0;
// 结果
StringBuilder sb = new StringBuilder();
while (position < text.length()) {
char c = text.charAt(position);
// 跳过符号
if (isSymbol(c)) {
// 若指针1处于根结点,将此符号计入结果,让指针2向下走一步
if (tempNode == rootNode) {
sb.append(c);
begin++;
}
// 无论符号在开头或中间,指针3都向下走一步
position++;
continue;
}
// 检查下级结点
tempNode = tempNode.getSubNode(c);
if (tempNode == null) {
// 以begin开头的字符串不是敏感词
sb.append(text.charAt(begin));
// 进入下一个位置
position = ++begin;
// 重新指向根结点
tempNode = rootNode;
} else if (tempNode.isKeywordEnd()) {
// 发现敏感词,将begin~position字符串替换掉
sb.append(REPLACEMENT);
// 进入下一个位置
begin = ++position;
// 重新指向根结点
tempNode = rootNode;
} else {
// 检查下一个字符
position++;
}
}
sb.append(text.substring(begin));
return sb.toString();
}
// 判断是否为符号
private boolean isSymbol(Character c) {
return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
}
}