敏感词检测算法小结

最新推荐文章于 2024-07-15 14:17:58 发布
最新推荐文章于 2024-07-15 14:17:58 发布
阅读量2.8k 收藏 3
点赞数 1
文章标签： 人工智能 c/c++ 数据结构与算法
原文链接：https://my.oschina.net/go4it/blog/1523572
版权
本文探讨了敏感词检测的算法，包括经典的AC算法及其构成：goto表、fail表和output表，以及如何通过DFA算法进行匹配。AC算法是基于trie树的KMP算法，而DFA算法利用确定性有穷自动机实现正则表达式的匹配。文章还提到了使用HashMap和自定义数据结构来优化敏感词检测的方法。
摘要由CSDN通过智能技术生成

为什么80%的码农都做不了架构师？>>>   hot3.png

序

本文简单介绍下敏感词或者脏词检测算法。

经典AC算法

经典的AC算法由三部分构成，goto表，fail表和output表，共包含四种具体的算法，分别是计算三张查找表的算法以及AC算法本身。

  • goto表是由模式集合P中的所有模式构成的状态转移自动机。(goto表就是一棵trie树)
  • failure表作用是在goto表中匹配失败后状态跳转的依据，这点与KMP中next表的作用相似。(这个表是trie树没有的，加了这个表，AC自动机就看起来不像一棵树，而像一个图)
  • output表示输出，又称：emits，即代表到达某个状态后某个模式串匹配成功

AC自动机本质上来说是一种基于trie树的kmp算法，AC算法需要三个函数来进行字符串匹配，而且这三个函数的求解都和一个确定的DFA（有限状态自动机）有关。

普通DFA算法

确定性有穷自动机，用于

最低0.47元/天 解锁文章
weixin_33973600
关注
敏感词检测理论算法过程
xxx
01-27 3218
准备工作 环境和技术栈 Java、多线程广度优先算法、正则表达式、页面抓取等等​ 确认需要实现的功能 加载词库数据到Tire字典树中，用字典树存储词库，速度比较快 利用广度优先遍历抓取整站的数据 去除标签，获取每个页面的实际数据 对实际数据进行分词，得到分词-偏移量列表 将分词列表与Tire字典树进行对比，得到敏感词列表 再根据偏移量和词组情况，回归确定是否确认是敏感词，并根据结果判断是否报警 对敏感句子的识别 对敏感词拼音的识别 确认功能所需的解决方案 利用playwrite抓取页面 利用广.
敏感词匹配DFA算法
weixin_43914439的博客
07-06 714
DFA算法在敏感词检测场景有着比较好的展现效果，其核心思想在于对给定敏感词构建确定性有穷自动机，这边以Map集合的形式构建了一个类似于树型结构的DFA,包括初态中间态以及终态，根据是否出现满足状态转移的条件来推进下一个状态，到达终态判定为敏感词。在我们的刷题网站中的社区模块里，用户发布动态内容和评论回复的敏感词检测就使用到了DFA算法。上面给出了我们实现的DFA算法的核心功能。
给一个违禁词检测可行的技术方案
qq_33240556的博客
03-15 516
违禁词检测技术方案可以基于自然语言处理（NLP）技术和机器学习算法来实现，以下是一个基础的违禁词检测技术方案：一、构建违禁词库二、技术研发阶段三、系统集成与优化四、上线与运维。
敏感词检测算法
小白223的博客
05-26 2392
思路：DFA算法 确定性有穷自动机，用于正则表达式的匹配，最长左子式匹配 /** * 检测敏感词 * * @param scriptText * @param matchType * @return */ public static Set<String> checkSensitiveWord(String scriptText, int matchType) { Set<String&gt
敏感词检测算法review
real_ilin的博客
03-18 5130
字符串匹配是一个技术活，敏感词检测首先有一个敏感词词库，也就是敏感词的列表。 第一个想到的方法把敏感词放到一个set里，再待检测的文本分词，到set里去匹配； 第二种方法是遍历set，用正则表达式来过滤。 以上两种方法，在数据量小的时候没有问题，但是，当数据量非常大的时候，性能就不行了。 前缀树算法： https://blog.csdn.net/qq_37410328/article/detail...
基于DFA算法的敏感词检测算法
My52Hz
02-01 854
敏感词检测，几乎是所有博客、文章、日志等这类公开性发表的以文字形式记录的作品都绕不过去的产品需求，那么，是否有一些比较高效的方法来检测文章的敏感词呢？`DFA算法`，全称为确定性有限状态自动机算法，是一种常见的字符串匹配算法。它通过构建一个状态转移来表现字符串匹配，具有高效、快速的特点。在实际应用中，DFA算法尝尝被用于词法分析、字符串匹配等领域。除了DFA算法，还有其他的自动机算法，比如KMP算法、BM算法等。这些算法在不同的场景下有着不同的应用，需要根据具体情况来选择那种算法。
敏感词过滤算法Aho-Corasick
极客神殿
11-18 3890
多模式串匹配算法简介 敏感词过滤最基本的原理就是字符串匹配算法，也就是通过维护一个敏感词的字典，当用户输入一段文字内容后，通过字符串匹配算法，来查找用户输入的这段文字，是否包含敏感词。 字符串匹配算法有很多比如BF算法、RK算法、BM算法、KMP算法还有Trie树。前面四种算法都是单模式串匹配算法，只有Trie树是多模式串匹配算法。 我们可以针对每个敏感词，通过单模式匹配算法与用户输入的文字内容进行匹配。但是这样做的话，每个需要匹配的敏感词都需要扫描一遍用户输入的内容。如果敏感词有很多，并且用户输入的内容很
数据结构与算法36丨AC自动机：如何用多模式串匹配实现敏感词过滤功能？
最新发布
qq_53280238的博客
07-15 798
很多支持用户发表文本内容的网站，比如 BBS，大都会有敏感词过滤功能，用来过滤掉用户输入的一些淫秽、反动、谩骂等内容。你有没有想过，这个功能是怎么实现的呢？实际上，这些功能最基本的原理就是字符串匹配算法，也就是通过维护一个敏感词的字典，当用户输入一段文字内容之后，通过字符串匹配算法，来查找用户输入的这段文字，是否包含敏感词。如果有，就用“***”把它替代掉。我们前面讲过好几种字符串匹配算法了，它们都可以处理这个问题。但是，对于访问量巨大的网站来说，比如淘宝，用户每天的评论数有几亿、甚至几十亿。
2_数据结构与算法
贵在坚持
01-04 4691
O Master basic algorithoms and design models. KR Master sort ,insert and research algorithoms. Master basic algorithoms about others. Master all kinds of data structure. Master common design model. sort ,insert and research algorithoms.
敏感词过滤快速算法
09-20
使用C++写的一套敏感词过滤算法，把敏感词库放到可执行文件的同一目录。经测试，一秒钟最高可达到1千万的处理量。在输入较复杂的文本（200个文字），大概达到50万每秒的处理量。
基于决策树的敏感词变形体识别算法研究及应用
04-30
针对网络中敏感词变形体识别效率不高的问题，提出了基于决策树的敏感词变形体识别算法。首先，通过分析汉字的结构和读音等特征，研究敏感词及变形体；其次，基于敏感词库构建敏感词决策树；最后，通过多因子改进模型，对微博等新媒体的文本敏感程度进行计算。实验结果表明，该算法在识别中文敏感词及变形体时，查全率和查准率最高分别可达95%和94%，与基于确定有穷自动机的改进算法相比，查全率和查准率分别提高了19.8%和21.1%；与敏感信息决策树信息过滤算法相比，查全率和查准率分别提高17.9%和18.1% 。通过分析，该算法对敏感词变形体的识别和自动过滤是有效的。
python编程入门与案例详解-"Python小屋”免费资源汇总（截至2018年11月28日）...
q6q6q的专栏
10-28 8321
原标题："Python小屋”免费资源汇总（截至2018年11月28日）为方便广大Python爱好者查阅和学习，特整理汇总微信公众号"Python小屋”开通29个月以来推送过的700多篇文章清单，如果需要本清单的电子版，可以在公众号后台发送消息"资源汇总”获取下载地址。非计算机专业《Python程序设计基础》教学参考大纲计算机相关专业"Python程序设计”教...
网络防御系统之WEB应用防火墙-WAF概念和功能介绍
ai_64的博客
09-15 5964
一、WAF产生的背景 随着B/S架构的广泛应用，WEB应用的功能越来越丰富，也就意味着蕴含着越来越有价值的信息。于是WEB应用成为了黑客主要的攻击目标（第五层应用层）。传统防火墙无法解析HTTP应用层的细节，防火墙只是在第三层（网络层），对规则的过滤过于死板，无法为WEB应用提供足够的防护（纵深防御）。于是WAF诞生了。 WAF(Web Application Fir...
敏感词过滤算法
冰雪的专栏
12-01 717
这种方法，是从牛客网上看到的。 需要实现功能：　如果有字符串为xwabfabcff,敏感词为abc、bf、bc、m，若这个字符串中包含敏感词，则使用***代替敏感词，实现一个算法。 查找步骤： 算法如下： 1.使用三个指针，指针1指向根节点，指针2指向字符串下标起始值，指针3指向字符串当前下标值。指针1为tempnode=rootnode，指针2为begin=0，指针3为p
写一个高性能的敏感词检测组件
weixin_30326745的博客
01-14 643
最近写了一个高性能的敏感词检测组件【ToolGood.Words】。 一、高性能，它的效率到底有多快？ 如果将正则表达式的算法效率设为1，高性能可达到正则表达式的1.5万倍。 二、选一个巧妙的算法： AC自动机（Aho-Corasick Automation）算法在1975年产生于贝尔实验室，是著名的多模式匹配算法之一；一个常见的例子就是给定N个单词，给定包含M个字符的文章，要求确定...
敏感词算法JAVA
qq_25037905的博客
11-04 203
import java.util.*; import java.util.concurrent.ConcurrentHashMap; public class SensitiveFilter { public enum MatchType { MIN_MATCH("最小匹配规则"),MAX_MATCH("最大匹配规则"); String desc;...
JavaScript实现DFA敏感词过滤算法详解
"本文主要介绍了如何使用JavaScript实现敏感词过滤功能，主要关注DFA算法的原理和应用。文章提到了两种常见的敏感词过滤方案：全文搜索和DFA算法，并指出DFA算法在效率上的优势。" 在实现敏感词过滤功能时，首先...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值