1.4K+ Stars！开源的高性能敏感词工具

最新推荐文章于 2024-08-21 08:39:09 发布
最新推荐文章于 2024-08-21 08:39:09 发布
阅读量402 收藏 2
点赞数 3
文章标签： 开源
原文链接：https://mp.weixin.qq.com/s/_xIKO37fy97pJwSuS71GKQ
版权

原创 小奇 爱编程爱技术 2024-01-19 08:00 发表于北京

每天给大家带来网站工具、开源社区项目、开源软件、安卓&IOS软件等黑科技！

小编不会主动加任何人好友，请认准【爱编程爱技术】公众号，谨防上当受骗，宝子要擦亮卡姿兰特大眼睛哦！

如果你们有什么好的建议，也可以在后台留言。
创作不易，希望大家给一点鼓励，把公众号设置为"星标"，给文章点下"赞"和"在看"，谢谢大家！每日持续更新，望宝子们多多支持~

图片

大家都知道几乎每一个web应用或游戏设计中，都需要做敏感词的过滤以及转换。为了应对越来越多的敏感词，寻找一个高效率的敏感词过滤算法就摆在了各个程序员的面前。目前业内公认的效率最高的就是 DFA 算法。

小编今天为大家分享这个开源项目也是基于DFA 算法实现：sensitive-word，用于过滤敏感词的 Java 库。一款高性能的敏感词过滤工具，词库共收录了 6w+ 内容，支持自定义敏感词、白名单、替换策略、数字常见形式的互换、忽略重复词等功能。

该项目在 GitHub 上的star数更是一路飙升到了1.4k。

图片

🎨️ 最新版本的功能特性

  • 6W+ 词库，且不断优化更新

  • 基于 fluent-api 实现，使用优雅简洁

  • 基于 DFA 算法，性能为 7W+ QPS，应用无感

  • 支持敏感词的判断、返回、脱敏等常见操作

  • 支持常见的格式转换

  • 全角半角互换、英文大小写互换、数字常见形式的互换、中文繁简体互换、英文常见形式的互换、忽略重复词等

  • 支持敏感词检测、邮箱检测、数字检测、网址检测等

  • 支持自定义替换策略

  • 支持用户自定义敏感词和白名单

  • 支持数据的数据动态更新（用户自定义），实时生效

  • 支持敏感词的标签接口

  • 支持跳过一些特殊字符，让匹配更灵活

🌟 性能测试

1、测试环境为普通的笔记本

  • 处理器 12th Gen Intel(R) Core(TM) i7-1260P   2.10 GHz

  • 机带 RAM  16.0 GB (15.7 GB 可用)

  • 系统类型    64 位操作系统, 基于 x64 的处理器

2、测试数据：100+ 字符串，循环 10W 次。

图片

不同环境会有差异，但是比例基本稳定。

🧰 如何使用

项目的使用非常简单快捷，具体步骤如下：

1、环境依赖：

  • JDK1.7+

  • Maven 3.x+

2、在 pom 中引入依赖

<dependency>    <groupId>com.github.houbb</groupId>    <artifactId>sensitive-word</artifactId>    <version>[最新版本]</version></dependency>

3、判断是否包含敏感词

final String text = "五星红旗迎风飘扬，毛主席的画像屹立在天安门前。";
Assert.assertTrue(SensitiveWordHelper.contains(text));

🔥 其他用法

1、返回第一个敏感词

final String text = "五星红旗迎风飘扬，毛主席的画像屹立在天安门前。";
String word = SensitiveWordHelper.findFirst(text);

2、返回所有敏感词

final String text = "五星红旗迎风飘扬，毛主席的画像屹立在天安门前。";
List<String> wordList = SensitiveWordHelper.findAll(text);

3、默认的替换策略，将敏感换为 *

final String text = "五星红旗迎风飘扬，毛主席的画像屹立在天安门前。";String result = SensitiveWordHelper.replace(text);
//输出：****迎风飘扬，***的画像屹立在***前。

4、指定替换的内容

final String text = "五星红旗迎风飘扬，毛主席的画像屹立在天安门前。";String result = SensitiveWordHelper.replace(text, '0');
//输出： 0000迎风飘扬，000的画像屹立在000前。

5、邮箱检测

final String text = "楼主好人，邮箱 sensitiveword@xx.com";
List<String> wordList = SensitiveWordHelper.findAll(text);Assert.assertEquals("[sensitiveword@xx.com]", wordList.toString());

此外，项目还提供了一个 IWordResultHandler 结果处理类，可以对敏感词的结果进行处理，允许用户自定义。在使用的时候更加灵活。小伙伴们可以参考项目的主页文档自行尝试。

整体来说，使用起来还是很简单，如果你需要做一个过滤敏感词的功能，或者你自己准备造一个类似的，可以了解一下，避免重复造轮子，非常方便！

附项目的链接：

开源地址：

https://github.com/houbb/sensitive-word

往期推荐：

竹林幽深
关注
【SpringBoot 项目实战-敏感词过滤】基于自定义注解+DFA算法，实现自定义敏感词过滤、自定义字符替换源码免费下载
05-08
本资源为实战总结资源，开箱即用。 1、基于自定义注解+DFA算法，实现自定义敏感词过滤、自定义字符替换； 2、两种注解方式：方法参数注解、实体类注解 3、两种用户体验模式：告诉用户存在哪些敏感词、替换敏感词为自定义字符
敏感词过滤器
05-08
一款高质量的敏感词过滤器 , 采用MFC编写 , 注释详细 , 算法简洁易懂 . 非常适合学习MFC或字符串匹配的同学.
敏感词过滤器开源项目教程
gitblog_00584的博客
08-21 494
敏感词过滤器开源项目教程 sensitive-word-filter简易敏感词处理器，支持返回敏感词，高亮敏感词，替换敏感词等操作项目地址:https://gitcode.com/gh_mirrors/se/sensitive-word-filter 项目介绍 敏感词过滤器（sensitive-word-filter）是一个基于Python的开源项目，旨在帮助开发者快速实现文本中的敏感词检测和替...
开源 免费 java CMS - FreeCMS1.4 敏感词管理
v5browser
06-26 203
下载地址：http://code.google.com/p/freecms/ 敏感词管理 从FreeCMS1.4开始支持 管理敏感词，系统会自动将敏感词替换为指定字符。 系统进行敏感词处理的功能： 信息:标题，内容，摘要。 栏目:名称，描述。 评论:内容。 网上调查:名称，调查说明，调查选项。 1.敏感词管理 ...
开源的敏感词检测工具
qq_46863837的博客
04-26 819
首先开源不是一件可耻，同时也不是一件让人觉得自己牛逼上天的一件事，开源出项目只是想更多的人能够少走弯路。对于使用者来说能够避免重复造轮子，对于开源者来说能够增加经验，使用者越多，可能发现的bug就越多，提出新的需求也可能会更多，所以对于开源者不仅是考验，也是能力提升的契机。
推荐开源项目：敏感词过滤库 `sensitive-stop-words`
gitblog_00028的博客
04-09 1755
推荐开源项目：敏感词过滤库 sensitive-stop-words 去发现同类优质开源项目:https://gitcode.com/ 在这个数字化的时代，信息处理和文本分析成为了许多应用的核心。特别是在社交媒体监控、数据分析或者内容审查中，对敏感词汇的有效识别至关重要。今天，我们推荐一款高效的Python库——，它是一个专门用于过滤和阻止敏感词汇的工具，帮助开发者快速实现内容审查功能。 项目简介...
推荐开源项目：Sensitive - 敏感词处理利器
gitblog_00026的博客
05-19 528
推荐开源项目：Sensitive - 敏感词处理利器 去发现同类优质开源项目:https://gitcode.com/ 在我们的日常开发中，尤其是在社交网络、评论系统或者内容审查场景下，处理敏感词往往是一个不可或缺的环节。今天，我们要向您推荐一个高效且易用的Golang库——Sensitive。它可以帮助您查找、验证、过滤和替换文本中的敏感词汇，确保您的应用能够合规且优雅地处理这些问题。 项目介绍...
C#高性能敏感词检测过滤组件
01-31
总的来说，"C#高性能敏感词检测过滤组件"通过多种高级技术手段，实现了高效且全面的敏感词检测，为不同领域的文本处理提供了一种强大的工具。它的设计思路和实现方法对于学习和研究文本处理技术具有很高的参考价值。
基于C#的高性能敏感词检测过滤与多语言转换设计源码
10-01
本项目是一款基于C#开发的高性能敏感词检测过滤组件源码，包含254个文件，涵盖75个txt文件、66个C#源代码文件、63个SCEL文件、16个Java文件、13个Go文件、6个csproj文件、5个png文件、2个gitignore文件、2个MD文件和...
一款高性能敏感词(非法词/脏字)检测过滤组件，附带繁体简体互换，支持全角半角互换，汉字转拼音，模糊搜索等功能。
11-15
本文将详细讨论这款高性能敏感词检测过滤组件的功能及其在实际应用中的价值。 首先，该组件的核心功能是进行敏感词（非法词/脏字）检测与过滤。这意味着它能识别并阻止或替换那些可能引发法律问题、道德争议或者不...
6K+网站敏感词数据集（php tree数据结构 高效敏感词过滤）
最新发布
10-08
php通过tree数据结构，实现根据大量敏感词数据集过滤字符串中敏感词; 包括一份6K+的敏感词数据表哦（mysql直接导入）
js 检测敏感词
11-14
敏感词检测 testbadword.html
测试.net开源敏感词检测库ToolGood.Words
gc_2299的博客
11-16 1455
测试.net开源敏感词检测库ToolGood.Words
推荐基于.NetCore一款高性能敏感词检测开源库
成长的足迹
10-28 2133
今天给大家推荐一款高性能敏感词检测开源库。
推荐项目：腾讯离线敏感词库——tencent-sensitive-words
gitblog_00049的博客
06-23 2161
推荐项目：腾讯离线敏感词库——tencent-sensitive-words 项目地址:https://gitcode.com/cjh0613/tencent-sensitive-words 在当今数字化时代，信息的审查与过滤变得尤为重要，特别是在处理大量文本数据的应用中。为此，我们向您推荐一个由开发者社区精心维护的开源项目——腾讯离线敏感词库（tencent-sensitive-words），这...
38个敏感词_敏感词过滤算法对比，顺便开源了个工具库
weixin_39809175的博客
11-12 1627
首页图片引用自：[互联网潜规则：如何进行敏感词屏蔽](https://www.iyunying.org/yunying/yyjc/81040.html)敏感词算法的对比现在社区内敏感词算法大致实现有两种：DFA(Deterministic Finite Automaton 确定有穷自动机)算法和AC(Aho-Corasick自动机)算法，在掘金社区找到比较有代表性的两篇文章：《js实现敏感词过滤算...
基于.NetCore高性能敏感词检测开源库
.Net技术、软件架构、人工智能、数字化转型、DeveloperSharp、微服务、工业互联网、智能制造
02-14 1618
过滤敏感词，可以设置跳字长度，默认全角转半角、忽略大小写、跳词、重复词、黑名单。这是一款基于.Net开发的、高性能敏感词工具箱，支持繁简互换、全角半角互换，拼音模糊搜索等功能。🏆专注领域：.Net技术、软件架构、人工智能、数字化转型、DeveloperSharp、微服务、工业互联网、智能制造。回复'面试'，获取C#/.NET/.NET Core面试宝典。回复'blazor'，领取blazor从入门到实战。回复'Linux'，领取Linux从入门到精通。回复'NET'，领取.NET零基础入门到实战。
Java 过滤关键字敏感词
u013930835的博客
09-11 796
1、敏感词 链接: https://pan.baidu.com/s/1vuM8DJ1jxVO7EOhKVqCL1A 提取码: iv94 复制这段内容后打开百度网盘手机App，操作更方便哦 放到项目中的resources文件夹下即可 2.工具类 import org.springframework.util.ResourceUtils; import java.io.BufferedR...
敏感词工具
09-14 259
工具类： import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.Has...
springboot+mysql+vue3 评论敏感词屏蔽功能具体实现
05-31
评论敏感词屏蔽功能可以通过以下步骤实现： 1. 在 MySQL 数据库中创建一个敏感词表，用于存储所有需要屏蔽的敏感词。 2. 在 Spring Boot 中使用 MyBatis 或 JPA 等框架，将敏感词表映射为一个实体类，并创建一个 DAO 层用于操作该表。 3. 在后端编写一个过滤器，用于过滤评论中的敏感词。过滤器可以在评论提交到后端之前进行拦截，并根据敏感词表进行屏蔽。 4. 在前端使用 Vue3，通过 AJAX 请求将评论提交到后端，并接收后端返回的结果。如果评论中包含敏感词，前端可以弹出提示框进行提醒。 下面是一个简单的示例代码，仅供参考： MySQL敏感词表： ```sql CREATE TABLE `sensitive_words` ( `id` int(11) NOT NULL AUTO_INCREMENT, `word` varchar(255) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; ``` Spring Boot 实体类： ```java @Entity @Table(name = "sensitive_words") public class SensitiveWord { @Id @GeneratedValue(strategy = GenerationType.IDENTITY) private Integer id; @Column(name = "word") private String word; // getter 和 setter 方法 } ``` Spring Boot DAO 层： ```java @Repository public interface SensitiveWordDao extends JpaRepository<SensitiveWord, Integer> { List<SensitiveWord> findAll(); } ``` Spring Boot 过滤器： ```java @WebFilter(filterName = "sensitiveWordFilter", urlPatterns = "/comment/*") public class SensitiveWordFilter implements Filter { private List<String> sensitiveWords = new ArrayList<>(); @Autowired private SensitiveWordDao sensitiveWordDao; @Override public void init(FilterConfig filterConfig) throws ServletException { List<SensitiveWord> words = sensitiveWordDao.findAll(); for (SensitiveWord word : words) { sensitiveWords.add(word.getWord()); } } @Override public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException { HttpServletRequest httpRequest = (HttpServletRequest) request; String comment = httpRequest.getParameter("comment"); for (String word : sensitiveWords) { if (comment.contains(word)) { HttpServletResponse httpResponse = (HttpServletResponse) response; httpResponse.setStatus(400); httpResponse.getWriter().write("评论中包含敏感词"); return; } } chain.doFilter(request, response); } @Override public void destroy() { } } ``` Vue3 组件： ```vue <template> <div> <textarea v-model="comment"></textarea> <button @click="submitComment">提交</button> </div> </template> <script> import axios from 'axios'; export default { data() { return { comment: '' } }, methods: { submitComment() { axios.post('/comment', { comment: this.comment }).then(response => { alert('评论成功'); }).catch(error => { alert(error.response.data); }); } } } </script> ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值