牛客网后端项目实战（十五）：过滤敏感词

---

title: 牛客网后端项目实战（十五）：过滤敏感词
date: 2020/04/20
tags:

• 后端
• java
• spring
  categories: 牛客网后端项目实战
  keywords:
• 后端
• java
• spring
  top_img: http://cdn.neuswc2019.xyz/20200414100138.png
  cover: http://cdn.neuswc2019.xyz/20200414100138.png

---

本节内容：

• 前缀树
  • 名称：Trie、字典树、查找树
  • 特点：查找效率高，消耗内存大
  • 应用：字符串检索、词频统计、字符串排序等
• 敏感词过滤器
  • 定义前缀树
  • 根据敏感词，初始化前缀树
  • 编写过滤敏感词的方法

前缀树示例

1. 假设3个敏感词，abc、bf、be，画出根节点，从敏感词中分析出第一层

   

2. 继续分析后续字母，每一层对应敏感词第几个字母

   

3. 遍历到中途的时候不是敏感词，到最底层才是，比如ab不是，abc才是，在最底层做一个标记

   

4. 双指针检测，第一个指针判断是否是敏感词开头，如果是，移动第二个指针往下查。

   

敏感词实现

敏感词我们存在文件里，在resource目录下新建sensitive-words.txt，随意写几个敏感词。

敏感词过滤作为一个工具类，在util包下新建SensitiveFilter。使用@Component注解交给容器管理。定义好日志记录和敏感词替换的内容。

@Component
public class SensitiveFilter {
   

    private static final Logger logger = LoggerFactory.getLogger(SensitiveFilter.class);
    //替换符
    private static String REPLACEMENT = "***";
}

前缀树，树结构通常定义成节点，在SensitiveFilter里定义一个内部类TrieNode。

//前缀树
    private class TrieNode {
   
        //关键词结束标识
        private boolean isKeywordEnd = false;

        //子节点(key是下级字符，value是下级节点）
        private Map<Character, TrieNode> subNodes = new HashMap<>();

        public boolean isKeywordEnd() {
   
            return isKeywordEnd;
        }

        public void setKeywordEnd(boolean keywordEnd) {
   
            isKeywordEnd = keywordEnd;
        }

        //添加子节点方法
        public void addSubNode(Character key, TrieNode value) {
   
            subNodes.put(key, value);
        }

        //获取子节点方法
        public TrieNode getSubNode(Character key) {
   
            return subNodes.get(key);
        }
    }

敏感词前缀树我们需要且只需要初始化一次，定义一个init方法，使用classLoader获取输入流，然后使用缓存字符流。一行一行的读取敏感词，将其添加到前缀树，添加到前缀树的方法定义为addKeyWord。

//根节点
    private TrieNode root = new TrieNode();

    @PostConstruct
    public void init() {
   

        try (InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
             BufferedReader reader=new BufferedReader(new InputStreamReader(is));
        ) {
   
            String keyword;
            while ((keyword=reader.readLine())!=null