利用字典树过滤敏感词

过滤敏感词

咳咳，我们做项目哈，都会有要做利用侦听器做过滤敏感词的操作哈，其实呢，我们可以直接用equals方法，直接进行匹配，然后过滤掉，就可以了，但是呢，一个网站，往往有很多很多的信息需要做这样的操作，这样就有点拖了哈，
所以我们这次利用字典树的形式，进行过滤操作

字典树

• Trie字典树，又称查找树
• 特点： 查找效率超级高，但是消耗内存大
• 应用：可以用于字符串检索，词频统计、字符串排序等等。
• 先来看看是什么样子的吧

• 就是这样的哈，一般我们头结点为空哈，
• 然后每一层的节点是必须不能有相同的节点的
• 然后每个节点只带有一个字符，

字典树数据结构

private class TrieNode{

        // 关键词结束的标识
        private boolean isKeywordEnd;

        // 子节点 (key是下级字符, value是下级节点)
        private Map<Character,TrieNode> subNodes = new HashMap<>();

        public boolean isKeywordEnd() {
            return isKeywordEnd;
        }

        public void setKeywordEnd(boolean keywordEnd) {
            isKeywordEnd = keywordEnd;
        }

        // 添加子节点
        public void addSubNode(Character c, TrieNode node){
            subNodes.put(c,node);
        }

        // 获取子节点
        public TrieNode getSubNode(Character c){
            return subNodes.get(c);
        }
    }

• 因为是要写一个过滤敏感词的工具类，所以我们的数据结构就以内部类的形式来表示了
• 首先有一个标记，表示该节点是不是单词的最后一个字符。
• 然后用map来封装下级节点，做好 getter 和 setter 即可

有了数据结构，我们就可以进行初始化的操作了

• 首先我们要搞一个敏感词的文本，每行装一些敏感词

    @PostConstruct
    public void init(){
        try(
                InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
                BufferedReader reader = new BufferedReader(new InputStreamReader(is));
        ){
            String keyWord ;
            while((keyWord = reader.readLine()) != null){
                // 添加到前缀树里面去
                this.addKeyWord(keyWord);
            }
        }catch (IOException e){
            logger.error("加载敏感词文件失败： " + e.getMessage());
        }
    }

• @PostConstruct注解就是初始化的注解，在构造器之前运行。
• 然后将文本文件里面的依次添加到字典树里面去，构造出一颗 敏感词字典树
• 添加的方法也很简单哈

    // 将单词添加前缀树里面去
    private void addKeyWord(String keyWord){
        TrieNode tempNode = rootNode;
        for(int i=0;i<keyWord.length();i++){
            char c = keyWord.charAt(i);
            TrieNode subNode = tempNode.getSubNode(c);
            if(subNode == null){
                subNode = new TrieNode();
                tempNode.addSubNode(c,subNode);
            }
            // 指向子节点，方便下一次的循环
            tempNode = subNode;
            if(i == keyWord.length()-1){
                tempNode.setKeywordEnd(true);
            }
        }
    }

• 搞个循环一次村辖区就行了。最后一个字符的时候记得打上标记哦！！！

然后我们就可以进行过滤的操作了

• 给出一个敏感词，投进去，按照各种情况分析，最后输出即可
• 然后这里给出全部代码哈

@Component
public class SensitiveFilter {

    private static final Logger logger = LoggerFactory.getLogger(SensitiveFilter.class);

    // 替换的字符
    private static final String REPLACEMENT = "***";

    // 初始化数组
    private TrieNode rootNode = new TrieNode();

    @PostConstruct
    public void init(){
        try(
                InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
                BufferedReader reader = new BufferedReader(new InputStreamReader(is));
        ){
            String keyWord ;
            while((keyWord = reader.readLine()) != null){
                // 添加到前缀树里面去
                this.addKeyWord(keyWord);
            }
        }catch (IOException e){
            logger.error("加载敏感词文件失败： " + e.getMessage());
        }
    }

    // 前缀树数据结构
    private class TrieNode{

        // 关键词结束的标识
        private boolean isKeywordEnd;

        // 子节点 (key是下级字符, value是下级节点)
        private Map<Character,TrieNode> subNodes = new HashMap<>();

        public boolean isKeywordEnd() {
            return isKeywordEnd;
        }

        public void setKeywordEnd(boolean keywordEnd) {
            isKeywordEnd = keywordEnd;
        }

        // 添加子节点
        public void addSubNode(Character c, TrieNode node){
            subNodes.put(c,node);
        }

        // 获取子节点
        public TrieNode getSubNode(Character c){
            return subNodes.get(c);
        }
    }

    // 将单词添加前缀树里面去
    private void addKeyWord(String keyWord){
        TrieNode tempNode = rootNode;
        for(int i=0;i<keyWord.length();i++){
            char c = keyWord.charAt(i);
            TrieNode subNode = tempNode.getSubNode(c);
            if(subNode == null){
                subNode = new TrieNode();
                tempNode.addSubNode(c,subNode);
            }
            // 指向子节点，方便下一次的循环
            tempNode = subNode;
            if(i == keyWord.length()-1){
                tempNode.setKeywordEnd(true);
            }
        }
    }

    /**
     * 过滤敏感词
     * @param text  可能带有敏感词的文本
     * @return     过滤后的文本
     */
    public String filter(String text){
        if(StringUtils.isBlank(text)){
            return null;
        }
        // 指针1
        TrieNode tempNode = rootNode;
        // 指针2
        int begin = 0;
        // 指针3
        int position = 0;
        // 用于存放结果的变量
        StringBuilder sb = new StringBuilder();

        while(position < text.length()){
            char c = text.charAt(position);
            // 跳过特殊符号
            if(isSymbol(c)){
                if(tempNode == rootNode){  // 判断他是不是头结点
                    sb.append(c);
                    begin++;
                }
                position++;  // 指针3 都会向下走
                continue;
            }
            // 检查下级节点
            tempNode = tempNode.getSubNode(c);
            if(tempNode == null){
                // 以begin为开头的单词不是敏感词
                sb.append(text.charAt(begin));
                begin++;
                position = begin;
                // 重新指向根节点
                tempNode = rootNode;
            } else if(tempNode.isKeywordEnd()){
                // 表示我找到了一个敏感词，那么我们需要将begin~position的文本调换掉
                sb.append(REPLACEMENT);
                position++;
                begin = position;
                tempNode = rootNode;
            }else {  // 怀疑是铭感词
                // 检查下一个字符
                position++;
            }
        }
        // 将最后一批字符记录结果里面
        sb.append(text.substring(begin));
        return sb.toString();
    }

    // 判断该字符是否是特殊字符
    public boolean isSymbol(Character c){
        return !CharUtils.isAsciiAlphanumeric(c) && (c<0x2E80 || c>0x9FFF);
    }

}

• 然后我们搞个测试类来试试吧
  
• 可以看出，还是挺好的，
• 后面的案例呢，要特别处理下哈，因为有些可爱的网友呀，中间插些特殊字符就以为我们搞不定了哈，实则不然，我们有特判滴，啊哈哈
• 溜啦溜啦