php实现敏感词过滤(Trie树)

灵感来自于 [嘉兴ing](https://segmentfault.com/a/1190000019137933 "Trie树 php 实现敏感词过滤") 
感谢分享.

本文主要是针对上文添加了自己的理解,以及增加了通过屏蔽等级灵活控制敏感词过滤。
代码适用场景:

1.特殊时间需要大规模针对某些敏感词进行敏感词检测
2.敏感词除了精确匹配外还需要模糊匹配,如傻lkaj瓜
3.针对不同时期(例如重大节假日),或者是不同级别的项目,对敏感词的校验严格度不同,进行进一步处理。

实现逻辑

通过前缀树/字典树 算法,通过利用字符串的公共前缀来节约存储空间。
例如当前敏感词数组为:[‘傻瓜’,‘傻瓜蛋’,‘傻子’]
当要匹配的字符串中含有 ‘傻瓜’、'傻子’时,下图字典树示例中的红色边框则为对应的终止节点。
字典树如图所示:
字典图

首先需要通过敏感词字典文件将敏感词初始化字典树,
然后在字典树上搜索添加过的字符串。
其步骤如下:
1.从根结点开始搜索。
2.取得要查找字符串的第一个字符,根据该字符选择对应的字符路径向下继续搜索。
3.如果字符串搜索完成后,判断当前是否已经是对应敏感字符路径的终止节点,如果是的话,说明字典树中含有该字符串,反正说明不含有该字符串。
4.如果想要添加模糊匹配的话,可以在对应字符路径判断的逻辑中,增加允许跳过的字符

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 可以使用 Java 中的正则表达式来实现文本内容敏感词过滤。具体步骤如下: 1. 定义敏感词列表,将所有需要过滤敏感词保存到一个数组或列表中。 2. 构造正则表达式,将敏感词列表中的所有敏感词用竖线 "|" 连接起来,形成一个正则表达式。 3. 对文本内容进行过滤,使用 String 类的 replaceAll() 方法,将文本中的敏感词替换成指定的字符或字符串。 下面是一个简单的示例代码: ```java import java.util.regex.Pattern; public class SensitiveWordFilter { private static final String[] sensitiveWords = {"敏感词1", "敏感词2", "敏感词3"}; private static final String REPLACEMENT = "***"; private static final String REGEX = String.join("|", sensitiveWords); private static final Pattern PATTERN = Pattern.compile(REGEX); public static String filter(String text) { return PATTERN.matcher(text).replaceAll(REPLACEMENT); } public static void main(String[] args) { String text = "这是一段包含敏感词的文本,敏感词1和敏感词2都出现了。"; String filteredText = SensitiveWordFilter.filter(text); System.out.println(filteredText); } } ``` 这个示例代码中,我们首先定义了敏感词列表 sensitiveWords,以及需要替换的字符串 REPLACEMENT。然后,我们将敏感词列表中的所有敏感词用竖线 "|" 连接起来,形成一个正则表达式 REGEX。最后,我们使用 Pattern 类将正则表达式编译成一个模式 PATTERN,然后在 filter() 方法中使用 PATTERN.matcher() 方法来匹配文本中的敏感词,并使用 replaceAll() 方法将敏感词替换成 REPLACEMENT。 在示例代码中,我们使用 main() 方法来演示如何使用 SensitiveWordFilter 类来过滤敏感词。在 main() 方法中,我们首先定义了一个包含敏感词的文本 text,然后调用 SensitiveWordFilter.filter() 方法对文本进行过滤,并将过滤后的结果打印出来。 ### 回答2: 在Java中实现文本内容的敏感词过滤可以通过以下步骤完成: 步骤1:构建敏感词字典 建立一个包含敏感词的字典,可以将敏感词保存在一个List或Set等数据结构中,也可以将敏感词保存在一个文本文件中,读取到内存中进行使用。 步骤2:读取待过滤的文本 读取待过滤的文本内容,可以将文本保存在一个字符串变量中。 步骤3:敏感词过滤 遍历敏感词字典,使用正则表达式等方式在文本中查找是否存在敏感词。可以使用Java提供的正则表达式类库,例如Java.util.regex类库,或者使用Apache Commons Lang等第三方类库。 步骤4:替换敏感词 通过替换或标记的方式将敏感词在文本中进行处理。可以使用String的replace方法将敏感词替换成指定的字符,例如“***”或“*”。也可以使用其他方式对敏感词进行处理,例如替换成全角空格等。 步骤5:返回过滤后的文本 返回过滤后的文本内容,可以直接输出结果或保存到文件等。 通过以上步骤,即可实现Java中文本内容的敏感词过滤。根据实际需要,可以进一步优化算法和数据结构,提高过滤性能和效果。 ### 回答3: Java语言可以通过正则表达式和基本的字符串操作来实现文本内容的敏感词过滤。 首先,我们需要准备一个敏感词库,将敏感词以字符串数组的形式存储起来。 使用Java的字符串类提供的replace方法可以将文本中的敏感词替换为指定的字符串。我们可以遍历敏感词库中的敏感词,然后使用replace方法将文本中的敏感词替换为“***”等符号。 另一种方法是使用Java的正则表达式工具包,如Pattern类和Matcher类,将文本中的敏感词进行匹配。首先,将敏感词库中的敏感词使用竖线“|”连接起来,形成一个正则表达式,然后使用Pattern类进行编译。编译后的Pattern对象可以用于对文本进行匹配。当匹配到敏感词时,可以使用Matcher类的replace方法将敏感词替换为指定的字符串。 另外,为了提高敏感词过滤的效率,可以使用Trie(字典)数据结构来存储敏感词库。Trie可以将敏感词库构建成一个状结构,使得在过滤文本时能够快速查找和匹配敏感词。 最后,我们可以将实现的文本内容敏感词过滤功能封装成一个方法,供其他程序调用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值