比较好的两个过滤敏感词的程序

2019独角兽企业重金招聘Python工程师标准>>>

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * 算法思路：把敏感词的第一个字符取出来，作为比较对象。
 * 遍历整个字符串，如果发现字符跟敏感词第一个字符相同，
 * 就从字符串取出跟关键词相同长度的子串比较，如果相同就替换
 * 
 * 本算法比较适合敏感词都不长的场合
 * @author Administrator
 *
 */
public class WordFilter {
    private static Map<Character,List<String>> wordListToMap(List<String> sensitiveWordList){
        Map<Character,List<String>> result=new HashMap<Character,List<String>>();
        for (String s:sensitiveWordList){
            char c=s.charAt(0);
            List<String> strs=result.get(c);
            if (strs==null){
                strs=new ArrayList<String>();
                result.put(c,strs);
            }
            strs.add(s);
        }
        
        return result;
    }
    
    public static String filter(String src,List<String> sensitiveWordList){
        Map<Character,List<String>> wordMap=wordListToMap(sensitiveWordList);
        
        StringBuilder strb=new StringBuilder();
        for (int i=0;i<src.length();i++){
            char c=src.charAt(i);
            String find=null;
            if (wordMap.containsKey(c)){
                List<String> words=wordMap.get(c);
                for (String s:words){
                    String temp=src.substring(i,(s.length()<=(src.length()-i))?i+s.length():i);
                    if (s.equals(temp)){
                        find=s;
                        break;
                    }
                }
            }
            if (find!=null){
                strb.append("***");
                i+=(find.length()-1);
            } else {
                strb.append(c);
            }
        }
        return strb.toString();
    }
    /**
     * @param args
     */
    public static void main(String[] args) {
        List<String> wordList=new ArrayList<String>();
        wordList.add("TMD");
        wordList.add("变态");
        System.out.println(filter("你TMD，也太缺德了吧",wordList));
        System.out.println(filter("你TMD，也太缺德了TMD吧",wordList));
        System.out.println(filter("你TMD，也太缺德了吧TM",wordList));
        System.out.println(filter("你TMD，也太缺德了，太变态了吧TM",wordList));
        wordList.add("TM");
        System.out.println(filter("你TMD，也太缺德了，太变态了吧TM",wordList));
    }

}

 

 

一下实现对敏感词,禁忌词的过滤.
两个个文件words.properties和KeyWordFilter.java;
1、words.properties文件是个文本文件；内容如下:
敏感词一
敏感词二
敏感词三

2、KeyWordFilter.java是个java文件内容如下:
import java.io.IOException;
import java.io.InputStream;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Enumeration;
import java.util.Properties;
import java.util.regex.Pattern;
import java.util.regex.Matcher;
public class KeyWordFilter
{
private static Pattern pattern = null;
// 从words.properties初始化正则表达式字符串
private static void initPattern()
{
  StringBuffer patternBuf = new StringBuffer("");
  try
  {
   InputStream in = KeyWordFilter.class.getClassLoader().getResourceAsStream("words.properties");
   Properties pro = new Properties();
   pro.load(in);
   Enumeration enu = pro.propertyNames();
   patternBuf.append("(");
   while(enu.hasMoreElements())
   {
    patternBuf.append((String)enu.nextElement()+"|");
   }
   patternBuf.deleteCharAt(patternBuf.length()-1);
   patternBuf.append(")");
 
//unix换成UTF-8
   //pattern = Pattern.compile(new String(patternBuf.toString().getBytes("ISO-8859-1"), "UTF-8"));
//win下换成gb2312
   pattern = Pattern.compile(new String(patternBuf.toString().getBytes("ISO-8859-1"), "gb2312"));
  }
  catch(IOException ioEx)
  {
   ioEx.printStackTrace();
  }
}
private static String doFilter(String str)
{
  Matcher m = pattern.matcher(str);
  str = m.replaceAll("");
  return str;
}

public static void main(String[] args)
{
  String str = "国敏感词一院学位办就敏感词三的报道表示敏感词二";
  System.out.println("str:"+str);
  initPattern();
  Date d1 = new Date();
  SimpleDateFormat formatter = new SimpleDateFormat("EEE, d MMM yyyy HH:mm:ss:SSS Z");
  System.out.println("start:"+formatter.format(d1));
  System.out.println("共"+str.length()+"个字符，查到" + KeyWordFilter.doFilter(str));
  Date d2 = new Date();
  System.out.println("end:"+formatter.format(d2));
}

}
输出为:
__________________________________
str:国敏感词一院学位办就敏感词三的报道表示敏感词二
start:星期二, 24 三月 2009 14:50:17:171 +0800
共23个字符，查到国院学位办就的报道表示
end:星期二, 24 三月 2009 14:50:17:531 +0800

 

 

 

另外两种实现算法 基于DFA的

http://www.iteye.com/topic/1116520

 

http://blog.shilimin.com/298.htm

 

转载于:https://my.oschina.net/u/999578/blog/151791