敏感词过滤实践

敏感词过滤Java实现

基本思路

针对于敏感词集合，构建成前缀树，树的末尾记录整个词
对于Java来说可以使用HashMap来模拟数的节点，便于查找

待检测句子进行遍历，在树中寻找，如果存在，就沿着树寻找，直到发现结束标志，一旦发现结点不存在，直接跳出树，去下一个字符。

实现

前缀树的构建

    /**
     * 创建树
     */
    private static Map<Character, Object>  buildTree(List<String> list) {
		// 返回的树根
        HashMap<Character, Object> baseMap = new HashMap<>();
        // 开始遍历
        for (String s : list) {
            HashMap<Character, Object> currMap = baseMap;
            char[] chs = s.toCharArray();
            for (int i = 0; i < chs.length; i++) {
                // 当前层级不存在该字符
                currMap.computeIfAbsent(chs[i], k -> new HashMap<Character, Object>());
                // 进入下一层
                currMap = (HashMap<Character, Object>) currMap.get(chs[i]);
                // 最后一个字符
                if (i == chs.length-1){
                	// 最后一个节点直接存储整个字符，便于过滤时进行的统计
                    currMap.put('$',chs);
                }
            }
        }
        return baseMap;
    }

敏感词检测

    /**
     * 检测句子
     */
    public static List<String> scan(String text,Map<Character, Object>wordTree){

        char[] chs = text.toCharArray();
        Map<Character, Object> currMap = wordTree;
        List<String> triggerWords = new ArrayList<>();
        for (char ch : chs) {
            // 当前字符无敏感词
            if (currMap.get(ch) == null){
                currMap = wordTree;
                continue;
            }
            currMap = (HashMap<Character, Object>) currMap.get(ch);
            // 到达了敏感词结尾 表明触发了敏感词
            if (currMap.get('$') != null) {
                triggerWords.add(new String((char[])currMap.get('$')));
                currMap = wordTree;
            }

        }
        return triggerWords;
    }

测试案例

    public static void initTree(){
        List<String> list = Arrays.asList("傻子", "傻逼", "圣诞", "你好");
        Map<Character,Object> preFixTree = buildTree(list);
        System.out.println(preFixTree);
        System.out.println("触发敏感词"+scan("我是大傻逼，你好圣诞呀", preFixTree));
    }

返回

{你={好={$=[C@4534b60d}}, 圣={诞={$=[C@3fa77460}}, 傻={子={$=[C@619a5dff}, 逼={$=[C@1ed6993a}}}

触发敏感词[傻逼, 你好, 圣诞]