千万级敏感词过滤设计

最新推荐文章于 2023-12-22 00:35:31 发布
最新推荐文章于 2023-12-22 00:35:31 发布
阅读量5.6k 收藏 4
点赞数 2
文章标签： ES  敏感词过滤
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a457190180/article/details/83621567
版权

需求分析

系统有千万级的禁词需要去过滤
当中包含人名 特殊符号组成的语句 网址 单字组合成的敏感词 等等

初步设计

	1.解决千万级禁词存储及查找问题
	2.解决被过滤文本内容过多问题

详细设计

	1.采用ES作为禁词库 千万级数据检索时间在毫秒级满足需求
	2.不适用分词器需要完整匹配 分词后很多词都是合法的 组合之后才是敏感词
	3.被过滤文本内容分词不完整 利用IK分词器分词结果不适合现在的业务场景
		只能采用字符串分割的方式来匹配ES库
		带来的问题就是效率低下同步多线程下千字也需要将近4秒
		考虑采用异步模式来解决大数据量需要审核状态
假如年少有为
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
敏感词过滤的设计（java）
11-05
java 敏感词过滤的设计思路和技术问题
使用java或elasticsearch进行敏感词词条的过滤或替换为指定字符
boss_way的博客
07-06 8386
1、因为项目需求，需要对热门搜索词进行敏感词的过滤；所以进行了以下开发的过程和大家分享一下； 第一阶段：使用 elasticsearch 存储查询语句，反向查询过滤敏感词，敏感词使用智能分词； 实现情况：elasticsearch 存储数据：【存在问题：分词结果会影响过滤效果，会将部分正常词汇过滤掉,最终没采编此方式】 第二阶段：修改mapping文件，使用前后* like方式匹配，过滤...
b站pink老师JavaScript的ES6面向对象课程中：正则表达式案例代码——敏感词过滤
weixin_72322475的博客
11-22 483
b站pink老师JavaScript的ES6面向对象课程中：正则表达式案例代码——敏感词过滤
Elasticsearch 基本使用（五）查询条件匹配方式(query & query_string)
冰糖的博客
07-09 6696
ES中常用的查询类型往大了分可以分为简单查询，复合查询，聚合查询等；而复合查询及聚合查询都是基于简单查询的；简单查询里面对条件的匹配方式又分为不同类型。term[s]，match，match_all，match_phrase 等等。
ES中增加大小写不敏感的分词器配置
点滴记录，积流成河！
08-15 9094
1. 在50和52的 config/elasticsearch.yml 中增加以下配置 index:   analysis:     analyzer:       string_lowercase:         tokenizer: keyword         filter: lowercase 2. 重启es 3. 创建一个测试 index: test {     "mappi...
怎么设计高效的敏感词过滤系统（一）
Bingo
02-24 7314
最近在做一个项目，寻遍了 Node 开源社区居然没有发现一个好用的敏感词过滤库，有那么几个库外观上看起来似乎还不错，用起来却一塌糊涂，震惊有余，失望至极。于是花了一天时间自己撸了一个库，库名叫 fastscan，这是我的第一个 Node 开源项目，它也可以用于浏览器环境。fastscan 基于广为人知的 ahocorasick 高性能字符串匹配算法。 项目地址：https://github....
elasticsearch - ik 动态分词管理
面朝大海，春暖花开
04-16 813
elasticsearch - ik动态分词管理 场景 对于抓取的资讯，有些敏感词需要屏蔽，但有些词又是新的词，放在 es 中可能搜索不到，或者需要先中入分词字典，重新启动服务 解决方案 通过 es 的远程获取字典方式， 这里使用 ik 中文分词 ik 分词 地址： 安装ik 中文分词， 安装略 动态地址配置 xiao@z:/opt/soft/lib/dc/es$ cat plugins/ik/config/IKAnalyzer.cfg.xml <?xml version="1.0" encodin
JAVA 关键字、敏感字 屏蔽过滤检测功能实现，不需要集成融合，不需要solr啥的 简单实用
Java程序源
09-16 3105
项目里面我们要做一些关键词的判断拦截 1、要么你是为了屏蔽某些词；eg：它是一个** 2、要么你是为了校验某句话里面是否包含的有某些词；eg：关键词：妙龄少女；例句：我想找个妙龄少女做我女朋友！ （谁不想？） 方法很多，比如ES ？ Solr ？ 好用 但是如果只是简单的项目需求，需要搭环境啥的，那就太麻烦啦！ 这里有个漂亮的妙龄少女，不不不，是个简单的方式。 言归正传 上代码 SensitiveFilterService.java package com.example.sensitivedemo
风控系统敏感词校验架构设计
最新发布
CBeann的博客
12-22 409
风控系统敏感词校验架构设计
WebCollector和ElasticSearch在高校网站群敏感词检测中的应用研究
01-12
在高校信息化建设过程中，建设了大量的网站，这些网站发布的信息和展示的内容很可能含有国家法律禁止或者学校规定禁止的敏感词汇，针对从海量的网站信息中定位到敏感词汇的目的，本文采用了文献研究法、个案研究法及实证研究法，通过研究相关材料文献和技术文档，研究相关系统设计案例，结合实际情况设计和实现一个能运行的系统，得出基于Webcollector爬虫框架和ElasticSearch搜索引擎设计和实现网站群敏感词检测系统的可行性。
使用lucene4.10，IKAnalyzer5.0提取敏感词
11-22
lucene中有扩展词库和停用词的概念，利用StopFilter加入违禁词的概念，可以返回检索到的违禁词。
敏感词过滤系统.zip
11-17
c语言实现的简单敏感词过滤系统，有服务端和客户端两端的代码。通俗易懂，大学课程作业，敏感词过滤系统。c语言实现的简单敏感词过滤系统，有服务端和客户端两端的代码。通俗易懂，大学课程作业，敏感词过滤系统
Android 敏感词过滤
04-04
用于Android端敏感词过滤的工具类，直需要替换敏感词库即可
C#敏感词过滤实现方法
09-03
主要介绍了C#敏感词过滤实现方法,涉及C#针对字符串操作的常用技巧,非常具有实用价值,需要的朋友可以参考下
python 实现敏感词过滤的方法
01-20
如下所示： #!/usr/bin/python2.6 # -*- coding: utf-8 -*- import time class Node(object): def __init__(self): self.children = None # The encode of word is UTF-8 def add_word(root,word): ...
ElasticSearch的安装配置、中文ik分词、elasticsearch-head的安装、kibana的安装配置使用汉化、es拓展词典以及拓展停止词典的配置、屏蔽敏感词汇
qq_48033003的博客
10-05 808
前言 文章目录 文章目录前言文章目录引用说明版本说明一、ElasticSearch概述简介使用范围与solr的对比lucene简介二、ElasticSearch的安装下载解压目录文件解读配置启动三、安装ik分词器解压四、安装elasticsearch-head可视化界面解压执行命令安装依赖报错运行解决跨域问题重启服务五、安装kibana下载解压汉化六、ElasticSearch核心概念关系型数据库对比ElasticSearch索引（indices）类型（types）文档（documents）字段（field
ES6字符串匹配函数
个人博客
03-19 908
ES6字符串匹配函数一、三个匹配函数1. Arrary.includes()2. Arrary.startsWith()3. Arrary.endsWith()二、具体使用1. Arrary.includes()2. Arrary.startsWith()3. Arrary.endsWith()三、拓展使用 一、三个匹配函数 1. Arrary.includes() includes(searchString,options)：字符串是否包含指定值。 searchString：要搜索的字串（字符串类型） p
ES特殊字符查询
fox_233的博客
10-18 3632
ES特殊字符搜索
es检索时，出现特殊字符的处理方式
热门推荐
pan-zy的专栏
11-13 2万+
//es检索时，出现特殊字符而没有做正确的处理，那么es将无法识别这条检索语句，则会抛出异常，此时就的对检索语句进行转义: String title = "title+-&&||!(){}[]^\"~*?:\\"; title = QueryParser.escape(title);// 主要就是这一句把特殊字符都转义,那么lucene就可以识别 searchRequestBuilder.setQ
千万级敏感词快速过滤java代码
07-25
以下是一个简单的 Java 代码示例，用于实现对千万级敏感词的快速过滤： ```java import java.util.HashSet; import java.util.Set; public class SensitiveWordFilter { private Set<String> sensitiveWords; public SensitiveWordFilter() { this.sensitiveWords = new HashSet<>(); } public void initSensitiveWords(Set<String> words) { this.sensitiveWords.addAll(words); } public boolean containsSensitiveWord(String text) { for (String word : sensitiveWords) { if (text.contains(word)) { return true; } } return false; } public String filterSensitiveWords(String text, char replaceChar) { StringBuilder filteredText = new StringBuilder(text); for (String word : sensitiveWords) { int startIndex = 0; while (startIndex < filteredText.length()) { int wordIndex = filteredText.indexOf(word, startIndex); if (wordIndex == -1) { break; } int endIndex = wordIndex + word.length(); for (int i = wordIndex; i < endIndex; i++) { filteredText.setCharAt(i, replaceChar); } startIndex = endIndex; } } return filteredText.toString(); } public static void main(String[] args) { Set<String> sensitiveWords = new HashSet<>(); // 将千万级敏感词添加到 sensitiveWords 集合中 SensitiveWordFilter filter = new SensitiveWordFilter(); filter.initSensitiveWords(sensitiveWords); String text = "这是一段包含敏感词的文本"; if (filter.containsSensitiveWord(text)) { System.out.println("文本包含敏感词"); } else { System.out.println("文本不包含敏感词"); } String filteredText = filter.filterSensitiveWords(text, '*'); System.out.println("过滤后的文本：" + filteredText); } } ``` 在上面的示例代码中，我们使用 HashSet 存储千万级敏感词，并提供了 `initSensitiveWords` 方法用于初始化敏感词集合。`containsSensitiveWord` 方法用于检查文本中是否包含敏感词，`filterSensitiveWords` 方法用于过滤文本中的敏感词并替换为指定的字符。 你需要将千万级敏感词添加到 `sensitiveWords` 集合中，并根据需要调用相应的方法进行过滤或检查。 希望以上代码对你有所帮助！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值