java 过滤器对敏感词过滤

一下实现对敏感词,禁忌词的过滤.
两个个文件words.properties和KeyWordFilter.java;
1、words.properties文件是个文本文件;内容如下:
敏感词一
敏感词二
敏感词三

2、KeyWordFilter.java是个java文件内容如下:
import java.io.IOException;
import java.io.InputStream;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Enumeration;
import java.util.Properties;
import java.util.regex.Pattern;
import java.util.regex.Matcher;
public class KeyWordFilter
{
private static Pattern pattern = null;
// 从words.properties初始化正则表达式字符串
private static void initPattern()
{
  StringBuffer patternBuf = new StringBuffer("");
  try
  {
   InputStream in = KeyWordFilter.class.getClassLoader().getResourceAsStream("words.properties");
   Properties pro = new Properties();
   pro.load(in);
   Enumeration enu = pro.propertyNames();
   patternBuf.append("(");
   while(enu.hasMoreElements())
   {
    patternBuf.append((String)enu.nextElement()+"|");
   }
   patternBuf.deleteCharAt(patternBuf.length()-1);
   patternBuf.append(")");
 
//unix换成UTF-8
   //pattern = Pattern.compile(new String(patternBuf.toString().getBytes("ISO-8859-1"), "UTF-8"));
//win下换成gb2312
   pattern = Pattern.compile(new String(patternBuf.toString().getBytes("ISO-8859-1"), "gb2312"));
  }
  catch(IOException ioEx)
  {
   ioEx.printStackTrace();
  }
}
private static String doFilter(String str)
{
  Matcher m = pattern.matcher(str);
  str = m.replaceAll("");
  return str;
}

public static void main(String[] args)
{
  String str = "国敏感词一院学位办就敏感词三的报道表示敏感词二";
  System.out.println("str:"+str);
  initPattern();
  Date d1 = new Date();
  SimpleDateFormat formatter = new SimpleDateFormat("EEE, d MMM yyyy HH:mm:ss:SSS Z");
  System.out.println("start:"+formatter.format(d1));
  System.out.println("共"+str.length()+"个字符,查到" + KeyWordFilter.doFilter(str));
  Date d2 = new Date();
  System.out.println("end:"+formatter.format(d2));
}

}
输出为:
__________________________________
str:国敏感词一院学位办就敏感词三的报道表示敏感词二
start:星期二, 24 三月 2009 14:50:17:171 +0800
共23个字符,查到国院学位办就的报道表示
end:星期二, 24 三月 2009 14:50:17:531 +0800

### 回答1: 可以使用 Java 中的正则表达式来实现文本的敏感词过滤。首先,将需要过滤敏感词汇存储在一个列表或者数组中,然后使用正则表达式来匹配文本中的敏感词并进行过滤。以下是一个示例代码: ```java import java.util.regex.*; public class SensitiveWordFilter { private static final String[] sensitiveWords = {"敏感词1", "敏感词2", "敏感词3"}; // 需要过滤敏感词汇列表 public static String filter(String text) { StringBuilder sb = new StringBuilder(text); for (String sensitiveWord : sensitiveWords) { String regex = "(?i)" + sensitiveWord; // 忽略大小写匹配 Pattern pattern = Pattern.compile(regex); Matcher matcher = pattern.matcher(sb); while (matcher.find()) { int start = matcher.start(); int end = matcher.end(); sb.replace(start, end, "*".repeat(end - start)); // 将敏感词替换为 "*" } } return sb.toString(); } } ``` 在上面的代码中,`filter()` 方法接收一个符串参数 `text`,并返回一个过滤后的符串。敏感词汇列表 `sensitiveWords` 存储了需要过滤敏感词汇。在过滤时,使用正则表达式 `regex` 来匹配敏感词汇,然后使用 `replace()` 方法将敏感词汇替换为 `*`。最后返回过滤后的符串。 ### 回答2: 敏感词过滤是一项常见的文本处理任务,可以通过简单的算法和数据结构来实现。下面我将以Java为例,介绍一种实现敏感词过滤的方法: 1. 首先,我们需要准备一个敏感词库,包含所有的敏感词。可以将敏感词存储在一个符串数组中,或者从外部文件中读取。 2. 然后,我们可以使用Trie树(典树)来构建敏感词的数据结构。Trie树是一种非常适合用于文本搜索的数据结构,可以高效地检查文本中是否包含敏感词。 3. 接下来,我们需要编写一个函数,用于将文本中的敏感词替换为特定的符(例如符号"*")。该函数接收一个符串参数,表示待处理的文本,返回替换完成后的文本。 4. 在函数内部,我们可以遍历待处理的文本,逐个符地查找 Trie 树中是否存在匹配的符序列。如果找到匹配的符序列,则将相应的敏感词替换为特定符。 5. 最后,我们将替换完成后的文本返回即可。 以下是一个简单的示例代码: ```java import java.util.ArrayList; import java.util.List; public class SensitiveWordFilter { private TrieNode root; public SensitiveWordFilter() { root = new TrieNode(); } public void addSensitiveWord(String word) { TrieNode node = root; for (Character c : word.toCharArray()) { if (!node.containsKey(c)) { node.put(c, new TrieNode()); } node = node.get(c); } node.setEndOfWord(true); } public String filter(String text) { StringBuilder result = new StringBuilder(); int start = 0; // 匹配的起始位置 int end = 0; // 匹配的结束位置 TrieNode node = root; for (int i = 0; i < text.length(); i++) { char c = text.charAt(i); if (node.containsKey(c)) { if (start == 0) { start = i; // 记录匹配的起始位置 } node = node.get(c); if (node.isEndOfWord()) { // 匹配到敏感词 end = i + 1; // 记录匹配的结束位置 } } else { if (end > start) { // 将敏感词替换为 * result.append("*"); } else { result.append(c); } // 重置状态 node = root; start = 0; end = 0; } } if (end > start) { result.append("*"); } else { result.append(text.substring(start)); } return result.toString(); } private static class TrieNode { private TrieNode[] children; private boolean isEndOfWord; public TrieNode() { children = new TrieNode[26]; isEndOfWord = false; } public void put(Character c, TrieNode node) { children[c - 'a'] = node; } public boolean containsKey(Character c) { return children[c - 'a'] != null; } public TrieNode get(Character c) { return children[c - 'a']; } public void setEndOfWord(boolean isEndOfWord) { this.isEndOfWord = isEndOfWord; } public boolean isEndOfWord() { return isEndOfWord; } } public static void main(String[] args) { SensitiveWordFilter filter = new SensitiveWordFilter(); // 添加敏感词 filter.addSensitiveWord("敏感词1"); filter.addSensitiveWord("敏感词2"); String text = "这是一段包含敏感词1和敏感词2的文本。"; String filteredText = filter.filter(text); System.out.println(filteredText); // 输出:这是一段包含******和******的文本。 } } ``` 以上代码实现了一个基于Trie树的敏感词过滤器。您可以根据需要,自定义敏感词库和替换符,以满足具体的应用场景。 ### 回答3: 使用Java实现文本的敏感词过滤可以采取以下步骤: 1. 创建一个敏感词库,包含需要过滤敏感词列表。可以使用数组、列表或者哈希表等数据结构保存敏感词。 2. 读取待过滤的文本内容。 3. 遍历文本内容,逐个符或单词地进行匹配。 4. 对于每个符或单词,与敏感词库进行比对。可以使用符串匹配算法,如KMP算法或Boyer-Moore算法,提高匹配效率。 5. 如果匹配到敏感词,则进行相应的处理,如替换、移除或标记。 6. 继续遍历文本内容,直到结束。 7. 返回处理后的文本内容。 例如,假设敏感词库包含"敏感词1"和"敏感词2",待过滤的文本内容为"这是一个包含敏感词1和敏感词2的文本",则过滤后的文本内容可能为"这是一个包含**和**的文本"。 实现时,可以封装一个敏感词过滤的工具类,提供接口供调用。该工具类可以根据需求设置是否开启过滤、添加新的敏感词、清空敏感词库等功能。 需要注意的是,敏感词过滤是一个繁琐的工作,需要不断更新敏感词库,并考虑到词语变形、音近、排列组合等情况,以提高过滤的准确性和效果。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值