Java 敏感词过滤(DFA有穷自动机)

最新推荐文章于 2024-07-15 11:15:01 发布

华谨舞

最新推荐文章于 2024-07-15 11:15:01 发布

阅读量612

点赞数

分类专栏：算法文章标签： java 算法

本文链接：https://blog.csdn.net/tjk12345/article/details/127486877

版权

本文介绍了使用Java实现敏感词过滤的方法，通过DFA（有穷自动机）进行高效查询。首先初始化敏感词集合，然后构建查询树以优化搜索，接着详细说明查询过程，匹配到敏感词即返回其ID。最后讨论了代码的可扩展性，如匹配多个敏感词或修改敏感词树。

摘要由CSDN通过智能技术生成

初始化敏感词

使用set集合，可以查询数据库。

 /**
     * 初始化值
     * @return
     */
    private static Set<String> getKeySet() {
   
        HashSet<String> set = new HashSet<>(3);
        //敏感词 河南 编码 0.3300
        set.add("河南0.3300");
        set.add("河北0.3200");
        set.add("北京0.1000");
        return set;
    }

构建树

将set集合中的数据构建成树，方便查询；树如图所示：
在这里插入图片描述

/**
     * 构建树
     */
    public static void add() {
   
        keySet = getKeySet();
        String key;
        Map nowMap;
        Map<String, String> newWordMap;
        Iterator<String> iterator = keySet.iterator();
        while (iterator.hasNext()) {
   
            //北京0.1000
            key = iterator.next();
            nowMap = cityMap;
            for (int i = 0; i < key.length(); i++) {
   
                char keyChar = key.charAt(i);
                //获取敏感词id
                if('0'==keyChar && '.'==key.charAt(i+1)){
   
                    nowMap.put("isEnd",