参考文章 http://blog.csdn.net/chenssy/article/details/26961957
想通过博客把自己在平常工作中用到的东西和感悟记录下来,分享给更多的人。这是我写的第一篇博客,主要是关于java敏感词过滤的。最近做了个基于ssm框架的app服务端的敏感词过滤的功能。一般来说文字过滤第一种想到的是简单的把敏感词放到集合中,获取页面上传文字,然后进行匹配。或者是用正则表达式等进行匹配。但是这样的只能进行简单的效率较低的检索。通过网上查阅资料发现可以使用DFA算法。
DFA简介
在实现文字过滤的算法中,DFA是唯一比较好的实现算法。DFA即Deterministic Finite Automaton,也就是确定有穷自动机,它是是通过event和当前的state得到下一个state,即event+state=nextstate。下图展示了其状态的转换
在这幅图中大写字母(S、U、V、Q)都是状态,小写字母a、b为动作。通过上图我们可以看到如下关系
a b b
S —–> U S —–> V U —–> V
在实现敏感词过滤的算法中,我们必须要减少运算,而DFA在DFA算法中几乎没有什么计算,有的只是状态的转换。
Java实现DFA算法
在Java中实现敏感词过滤的关键就是DFA算法的实现。首先我们对上图进行剖析。在这过程中我们认为下面这种结构会更加清晰明了。
同时这里没有状态转换,没有动作,有的只是Query(查找)。我们可以认为,通过S query U、V,通过U query V、P,通过V query U P。通过这样的转变我们可以将状态的转换转变为使用Java集合的查找。诚然,加入在我们的敏感词库中存在如下几个敏感词:日本人、日本鬼子、毛.泽.东。那么我需要构建成一个什么样的结构呢?首先:query 日 —> {本}、query 本 —>{人、鬼子}、query 人 —>{null}、query 鬼 —> {子}。形如下结构:
下面我们在对这图进行扩展:
这样我们就将我们的敏感词库构建成了一个类似与一颗一颗的树,这样我们判断一个词是否为敏感词时就大大减少了检索的匹配范围。比如我们要判断日本人,根据第一个字我们就可以确认需要检索的是那棵树,然后再在这棵树中进行检索。但是如何来判断一个敏感词已经结束了呢?利用标识位来判断。所以对于这个关键是如何来构建一棵棵这样的敏感词树。下面我已Java中的HashMap为例来实现DFA算法。具体过程如下:
日本人,日本鬼子为例
1、在hashMap中查询“日”看其是否在hashMap中存在,如果不存在,则证明已“日”开头的敏感词还不存在,则我们直接构建这样的一棵树。跳至3。
2、如果在hashMap中查找到了,表明存在以“日”开头的敏感词,设置hashMap = hashMap.get(“日”),跳至1,依次匹配“本”、“人”。
3、判断该字是否为该词中的最后一个字。若是表示敏感词结束,设置标志位isEnd = 1,否则设置标志位isEnd = 0;
程序实现如下:
- /**
- * 读取敏感词库,将敏感词放入HashSet中,构建一个DFA算法模型:<br>
- * 中 = {
- * isEnd = 0
- * 国 = {<br>
- * isEnd = 1
- * 人 = {isEnd = 0
- * 民 = {isEnd = 1}
- * }
- * 男 = {
- * isEnd = 0
- * 人 = {
- * isEnd = 1
- * }
- * }
- * }
- * }
- * 五 = {
- * isEnd = 0
- * 星 = {
- * isEnd = 0
- * 红 = {
- * isEnd = 0
- * 旗 = {
- * isEnd = 1
- * }
- * }
- * }
- * }
- * @param keyWordSet 敏感词库
- */
- @SuppressWarnings({ "rawtypes", "unchecked" })
- private void addSensitiveWordToHashMap(Set<String> keyWordSet) {
- sensitiveWordMap = new HashMap(keyWordSet.size()); //初始化敏感词容器,减少扩容操作
- String key = null;
- Map nowMap = null;
- Map<String, String> newWorMap = null;
- //迭代keyWordSet
- Iterator<String> iterator = keyWordSet.iterator();
- while(iterator.hasNext()){
- key = iterator.next(); //关键字
- nowMap = sensitiveWordMap;
- for(int i = 0 ; i < key.length() ; i++){
- char keyChar = key.charAt(i); //转换成char型
- Object wordMap = nowMap.get(keyChar); //获取
- if(wordMap != null){ //如果存在该key,直接赋值
- nowMap = (Map) wordMap;
- }
- else{ //不存在则,则构建一个map,同时将isEnd设置为0,因为他不是最后一个
- newWorMap = new HashMap<String,String>();
- newWorMap.put("isEnd", "0"); //不是最后一个
- nowMap.put(keyChar, newWorMap);
- nowMap = newWorMap;
- }
- if(i == key.length() - 1){
- nowMap.put("isEnd", "1"); //最后一个
- }
- }
- }
- }
运行得到的hashMap结构如下:
{五={星={红={isEnd=0, 旗={isEnd=1}}, isEnd=0}, isEnd=0}, 中={isEnd=0, 国={isEnd=0, 人={isEnd=1}, 男={isEnd=0, 人={isEnd=1}}}}}
1
敏感词库我们一个简单的方法给实现了,那么如何实现检索呢?检索过程无非就是hashMap的get实现,找到就证明该词为敏感词,否则不为敏感词。过程如下:假如我们匹配“中国人民万岁”。
1、第一个字“中”,我们在hashMap中可以找到。得到一个新的map = hashMap.get(“”)。
2、如果map == null,则不是敏感词。否则跳至3
3、获取map中的isEnd,通过isEnd是否等于1来判断该词是否为最后一个。如果isEnd == 1表示该词为敏感词,否则跳至1。
通过这个步骤我们可以判断“中国人民”为敏感词,但是如果我们输入“中国女人”则不是敏感词了。
- /**
- * 检查文字中是否包含敏感字符,检查规则如下:
- * @param txt
- * @param beginIndex
- * @param matchType
- * @return,如果存在,则返回敏感词字符的长度,不存在返回0
- * @version 1.0
- */
- @SuppressWarnings({ "rawtypes"})
- public int CheckSensitiveWord(String txt,int beginIndex,int matchType){
- boolean flag = false; //敏感词结束标识位:用于敏感词只有1位的情况
- int matchFlag = 0; //匹配标识数默认为0
- char word = 0;
- Map nowMap = sensitiveWordMap;
- for(int i = beginIndex; i < txt.length() ; i++){
- word = txt.charAt(i);
- nowMap = (Map) nowMap.get(word); //获取指定key
- if(nowMap != null){ //存在,则判断是否为最后一个
- matchFlag++; //找到相应key,匹配标识+1
- if("1".equals(nowMap.get("isEnd"))){ //如果为最后一个匹配规则,结束循环,返回匹配标识数
- flag = true; //结束标志位为true
- if(SensitivewordFilter.minMatchTYpe == matchType){ //最小规则,直接返回,最大规则还需继续查找
- break;
- }
- }
- }
- else{ //不存在,直接返回
- break;
- }
- }
- if(matchFlag < 2 && !flag){
- matchFlag = 0;
- }
- return matchFlag;
- }
以上是参考了其他博主的,下面是我在做app后台接口时进行的代码实现:
- /**
- * 修改昵称
- *
- * @param phone,nickname
- * @return
- */
- @RequestMapping(value = "user/changname", method = RequestMethod.POST)
- public String changName(@RequestParam(value = "phone") String phone,
- @RequestParam(value = "nickname") String nickname) {
- Result result = new Result();
- SensitivewordFilter filter = new SensitivewordFilter();// 加载敏感词库
- Set<String> set = filter.getSensitiveWord(nickname, 1);// 比对敏感词
- // 可以全是数字
- String regex = "^[\u4e00-\u9fa5a-zA-Z0-9_\\-]{4,16}$";
- if (!nickname.matches(regex)) {
- // 正则非法 包含判空 ,判断含有空格情况
- result.setCode(500);
- result.setData("昵称不符合规范");
- result.setMsg("昵称不符合规范");
- return GsonUtils.GsonString(result);
- }
- if (userService.havaName(nickname, phone)) {
- // 判断昵称是否已经存在 包括判断自己新名字=旧名字情况
- result.setCode(501);
- result.setData("此昵称已经存在");
- result.setMsg("此昵称已经存在");
- return GsonUtils.GsonString(result);
- }
- if (set.size() > 0) {
- result.setCode(502);
- result.setData("昵称修改失败请不要有侮辱性词汇");
- result.setMsg("昵称修改失败请不要有侮辱性词汇");
- return GsonUtils.GsonString(result);
- } else {
- try {
- userService.changName(phone, nickname);
- result.setCode(200);
- result.setData("昵称修改成功");
- result.setMsg("昵称修改成功");
- return GsonUtils.GsonString(result);
- } catch (Exception e) {
- // TODO: handle exception
- result.setCode(400);
- result.setData("修改失败 系统异常");
- result.setMsg("修改失败 系统异常");
- return GsonUtils.GsonString(result);
- }
- }
接下来是我的service类:
- public void modifyUserNickName(String oldPhone, String nickName) {
- //修改名称
- usermapper.modifyUserNickName(oldPhone, nickName);
- }
- public boolean havaName(String nickname, String phone) {
- // 判断昵称是否已经存在
- UserVo userVo = usermapper.findNickName(nickname, phone);
- if (userVo != null) {
- if (userVo.getPhone().equals(phone)) {// 自己新名字和旧的名字一样
- return false;
- }
- return true;
- }
- return false;
- }
这里是用到的加载敏感词库的工具类:
- /**
- * 初始化敏感词库,将敏感词加入到HashMap中,构建DFA算法模型
- *
- * */
- public class SensitiveWordInit {
- private String ENCODING = "GBK"; //字符编码
- @SuppressWarnings("rawtypes")
- public HashMap sensitiveWordMap;
- public SensitiveWordInit(){
- super();
- }
- @SuppressWarnings("rawtypes")
- public Map initKeyWord(){
- try {
- //读取敏感词库
- Set<String> keyWordSet = readSensitiveWordFile();
- //将敏感词库加入到HashMap中
- addSensitiveWordToHashMap(keyWordSet);
- //spring获取application,然后application.setAttribute("sensitiveWordMap",sensitiveWordMap);
- } catch (Exception e) {
- e.printStackTrace();
- }
- return sensitiveWordMap;
- }
- //将得到的敏感词库用一个DFA算法模型放到map中
- @SuppressWarnings({ "rawtypes", "unchecked" })
- private void addSensitiveWordToHashMap(Set<String> keyWordSet) {
- sensitiveWordMap = new HashMap(keyWordSet.size()); //初始化敏感词容器,减少扩容操作
- String key = null;
- Map nowMap = null;
- Map<String, String> newWorMap = null;
- //迭代keyWordSet
- Iterator<String> iterator = keyWordSet.iterator();
- while(iterator.hasNext()){
- key = iterator.next(); //关键字
- nowMap = sensitiveWordMap;
- for(int i = 0 ; i < key.length() ; i++){
- char keyChar = key.charAt(i); //转换成char型
- Object wordMap = nowMap.get(keyChar); //获取
- if(wordMap != null){ //如果存在该key,直接赋值
- nowMap = (Map) wordMap;
- }
- else{ //不存在则,则构建一个map,同时将isEnd设置为0,因为他不是最后一个
- newWorMap = new HashMap<String,String>();
- newWorMap.put("isEnd", "0"); //不是最后一个
- nowMap.put(keyChar, newWorMap);
- nowMap = newWorMap;
- }
- if(i == key.length() - 1){
- nowMap.put("isEnd", "1"); //最后一个
- }
- }
- }
- }
- //读取敏感词文件 加到set集合中
- @SuppressWarnings("resource")
- private Set<String> readSensitiveWordFile() throws Exception{
- Set<String> set = null;
- File file = new File("D:\\SensitiveWord.txt"); //读取文件
- InputStreamReader read = new InputStreamReader(new FileInputStream(file),ENCODING);
- try {
- if(file.isFile() && file.exists()){ //文件流是否存在
- set = new HashSet<String>();
- BufferedReader bufferedReader = new BufferedReader(read);
- String txt = null;
- while((txt = bufferedReader.readLine()) != null){ //读取文件,将文件内容放入到set中
- set.add(txt);
- }
- }
- else{ //不存在抛出异常信息
- throw new Exception("敏感词库文件不存在");
- }
- } catch (Exception e) {
- throw e;
- }finally{
- read.close(); //关闭文件流
- }
- return set;
- }
- }
接下来是对比敏感词库的工具类:
- /**
- * 敏感词过滤
- *
- * */
- public class SensitivewordFilter {
- @SuppressWarnings("rawtypes")
- public Map sensitiveWordMap = null;
- public static int minMatchTYpe = 1; //最小匹配规则
- public static int maxMatchType = 2; //最大匹配规则
- /**
- * 构造函数,初始化敏感词库
- */
- public SensitivewordFilter(){
- sensitiveWordMap = new SensitiveWordInit().initKeyWord();
- }
- /**
- * 判断文字是否包含敏感字符
- * @param txt 文字
- * @param matchType 匹配规则 1:最小匹配规则,2:最大匹配规则
- * @return 若包含返回true,否则返回false
- * @version 1.0
- */
- public boolean isContaintSensitiveWord(String txt,int matchType){
- boolean flag = false;
- for(int i = 0 ; i < txt.length() ; i++){
- int matchFlag = this.CheckSensitiveWord(txt, i, matchType); //判断是否包含敏感字符
- if(matchFlag > 0){ //大于0存在,返回true
- flag = true;
- }
- }
- return flag;
- }
- /**
- * 检查文字中是否包含敏感字符,检查规则如下:
- * @param txt
- * @param beginIndex
- * @param matchType
- * @return,如果存在,则返回敏感词字符的长度,不存在返回0
- * @version 1.0
- */
- @SuppressWarnings({ "rawtypes"})
- public int CheckSensitiveWord(String txt,int beginIndex,int matchType){
- boolean flag = false; //敏感词结束标识位:用于敏感词只有1位的情况
- int matchFlag = 0; //匹配标识数默认为0
- char word = 0;
- Map nowMap = sensitiveWordMap;
- for(int i = beginIndex; i < txt.length() ; i++){
- word = txt.charAt(i);
- System.out.println(nowMap);
- nowMap = (Map) nowMap.get(word); //获取指定key
- System.out.println(nowMap);
- if(nowMap != null){ //存在,则判断是否为最后一个
- matchFlag++; //找到相应key,匹配标识+1
- if("1".equals(nowMap.get("isEnd"))){ //如果为最后一个匹配规则,结束循环,返回匹配标识数
- flag = true; //结束标志位为true
- if(SensitivewordFilter.minMatchTYpe == matchType){ //最小规则,直接返回,最大规则还需继续查找
- break;
- }
- }
- }
- else{ //不存在,直接返回
- break;
- }
- }
- if(matchFlag < 2 || !flag){ //长度必须大于等于1,为词
- matchFlag = 0;
- }
- return matchFlag;
- }
- /**
- * 获取文字中的敏感词
- *
- * @param matchType 匹配规则 1:最小匹配规则,2:最大匹配规则
- * @return
- * @version 1.0
- */
- public Set<String> getSensitiveWord(String txt , int matchType){
- Set<String> sensitiveWordList = new HashSet<String>();
- for(int i = 0 ; i < txt.length() ; i++){
- int length = CheckSensitiveWord(txt, i, matchType); //判断是否包含敏感字符
- if(length > 0){ //存在,加入list中
- sensitiveWordList.add(txt.substring(i, i+length));
- i = i + length - 1; //减1的原因,是因为for会自增
- }
- }
- return sensitiveWordList;
- }