Java实现敏感词过滤

最新推荐文章于 2023-08-12 15:52:20 发布

tomcat先生

最新推荐文章于 2023-08-12 15:52:20 发布

阅读量585

点赞数

分类专栏： java开发文章标签： java

本文链接：https://blog.csdn.net/qq_34841911/article/details/68927332

版权

本文档介绍了如何使用Java实现敏感词过滤。通过读取敏感词库文件，将敏感词加载到HashMap中，构建DFA算法模型，实现了敏感词的检测、替换和过滤。示例代码展示了敏感词库的读取、敏感词的初始化以及过滤敏感词的方法。

摘要由CSDN通过智能技术生成

我是首先借鉴这个文章的，理论部分就看这个 http://blog.csdn.net/chenssy/article/details/26961957

   import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Map;
import java.util.Set;

/**
* @Description: 初始化敏感词库，将敏感词加入到HashMap中，构建DFA算法模型
* @author 刘赖春
* @version 1.0
*
*/
public class SensitiveWordInit {

   private String ENCODING ="GBK" ;    //字符编码
   @SuppressWarnings("rawtypes")

   public HashMap sensitiveWordMap;

   public SensitiveWordInit(){
       super();
   }

   @SuppressWarnings("rawtypes")
   public Map initKeyWord(){
       try {
           //读取敏感词库
           Set<String> keyWordSet = readSensitiveWordFile();
           //将敏感词库加入到HashMap中
           addSensitiveWordToHashMap(keyWordSet);
           //spring获取application，然后application.setAttribute("sensitiveWordMap",sensitiveWordMap);
       } catch (Exception e) {
           e.printStackTrace();
       }
       return sensitiveWordMap;
   }

   /**
   * 读取敏感词库，将敏感词放入HashSet中，构建一个DFA算法模型：<br>
   * 中 = {
   *      isEnd = 0
   *      国 = {<br>
   *         isEnd = 1
   *           人 = {isEnd = 0
   *                民 = {isEnd = 1}
   *                }
   *           男 = {
   *                  isEnd = 0
   *                  人 = {
   *                      isEnd = 1
   *                      }
   *              }
   *           }
   *      }
   * 五 = {
   *      isEnd = 0
   *      星 = {
   *         isEnd = 0
   *         红 = {
   *              isEnd = 0
   *              旗 = {
   *                   isEnd = 1
   *                  }
   *              }
   *         }
   *      }
   */