通过redis协议构建中文脏词过滤微服务

最新推荐文章于 2024-03-09 18:55:44 发布

ixqbar

最新推荐文章于 2024-03-09 18:55:44 发布

阅读量1.1k

点赞数

分类专栏：工具文章标签： redis 脏词

本文链接：https://blog.csdn.net/ixqbar/article/details/82314298

版权

该博客介绍了一种通过Redis协议构建的中文脏词过滤微服务，提供了下载、安装、配置说明以及字典格式等详细步骤，并包含命令、用例和测试情况。

摘要由CSDN通过智能技术生成

下载

https://github.com/jonnywang/goRedisWordsFilter/releases

安装使用

mkdir -p /data/server/wordsFilter
cd /data/server/wordsFilter
wget -O goRedisWordsFilter-v0.0.1.tar.gz https://github.com/jonnywang/goRedisWordsFilter/files/2334417/goRedisWordsFilter-v0.0.1.tar.gz 
tar zxvf goRedisWordsFilter-v0.0.1.tar.gz
cd v0.0.1
./bin/goRedisWordsFilter_linux --config=conf/config.xml

配置说明

<?xml version="1.0" encoding="UTF-8" ?>
<config>
    <!-- redis server -->
    <server>0.0.0.0:8299</server>

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ixqbar

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

微服务分布式架构之redis篇

OneMoreWhy的博客

10-04

678

本篇主要总结redis相关

Go-go-wordsfilter是一个高性能的Go敏感词过滤器

08-14

go-wordsfilter 是一个高性能的 Go 敏感词过滤器，通过预先读取敏感词源并构建树状结构数据的方式来高效地检测和替换敏感词

参与评论您还未登录，请先登录后发表或查看评论

敏感词过滤

冷宫旋的博客

08-05

255

具体描述和原理请看原文出处。这边是修改调整过的方法。跟原文差异：1.初始化txt文本换成了数据库查表和redis查询。2.字符编码GBK在测试的时候乱码，修改成了UTF-8 下面是修改后的代码： SensitiveWordInit： package com.service.sensitiveWord.impl; import com.service.sensitiveWord.SensitiveWordService; import com.utils.RedisUtils; impor.

redis 雪崩穿透预热并发这些高大上的词了解一下

weixin_43748147的博客

05-31

203

DFA敏感词过滤算法

微信公众号：一颗向上的草莓

06-30

687

运用DFA算法加密。首先我先对敏感词库初始化，若我的敏感词库为冰毒白粉大麻大坏蛋初始化之后得到的是下面这样。： {冰={毒={isEnd=1}, isEnd=0}, 白={粉={isEnd=1}, isEnd=0}, 大={麻={isEnd=1}, isEnd=0, 坏={蛋={isEnd=1}, isEnd=0}}}。 ok，我把初始化之后的数据用A来表示。假设待检测的文字为：张三是个大坏蛋，他竟然吸食白粉和冰毒。后面检测文字中是否有敏感词的时候，先把要检测的文字迭代循环，并转换

Redis在微服务架构中的应用：服务发现、负载均衡和缓存，构建敏捷微服务

[Redis在微服务架构中的应用：服务发现、负载均衡和缓存，构建敏捷微服务](https://media.geeksforgeeks.org/wp-content/uploads/20230914185841/redis-publish-subscriber.png) # 1. Redis基础与微服务架构 Redis...

Redis缓存实践与布隆过滤器应用

"Redis学习笔记包括Redis的基本语法、配置、如何与SpringBoot整合、持久化机制、主从复制、缓存问题（如雪崩和穿透）以及如何利用Redis实现布隆过滤器。" Redis是一种高性能的键值对数据存储系统，常被用作数据库、...

Java-spring cloud alibaba 微服务单点登录及组件配置学习源码

04-23

在IT行业中，微服务架构已经成为了现代应用程序开发的主流方式，Spring Cloud Alibaba是其中的一款强大框架，它提供了众多用于构建分布式系统的工具。本资源“Java-spring cloud alibaba 微服务单点登录及组件配置...

敏感词过滤器

05-08

一款高质量的敏感词过滤器 , 采用MFC编写 , 注释详细 , 算法简洁易懂 . 非常适合学习MFC或字符串匹配的同学.

mysql脏词表

11-20

7k个脏词，仅作为小站点过滤敏感词汇使用，从GitHub上看到的

一款高性能敏感词(非法词/脏字)检测过滤组件，附带繁体简体互换，支持全角半角互换，汉字转拼音，模糊搜索等功能。

11-15

一款高性能敏感词(非法词/脏字)检测过滤组件，附带繁体简体互换，支持全角半角互换，汉字转拼音，模糊搜索等功能。

tokenizer:一个简单的中文分词算法，可用于网游脏词过滤、搜索引擎文档解析、自然语言处理等需要中文分词的场合

04-27

洋文单词以空格天然分词，相比较而言因为一句中文是由连贯的字组成的，分词就麻烦一些。最困难的情况是对二义性句子的分割问题。比如“搜索引擎”这四个字，可以拆成“搜索”和“引擎”，但“索引”也是一个中文词汇。在脏词过滤的逻辑中最简单的做法是不使用分词，用所有脏词和一句话匹配，如果任意一个脏词是这句话的子串就认定为脏句，这种做法虽然避免了漏网之鱼，但是会因过于严格而让正常的句子变成脏句，分词可以改善这种问题。本项目提供一种简单的中文分词算法，并用近乎伪代码的 Python 编写。期待有人写出更好的版本：比如对效率的优化；在分词过程中引入词性的判定，进而过滤掉在词法上有效但语法上无效的节点等。目前算法支持二义性划分，如词典里有“喜”，“欢”，“喜欢”三个词，则“喜欢”会拆成[喜欢]和[喜, 欢]两种划分；还支持新词划分，对于未知的词汇，会分割成单字。详见代码本身示例。

java 敏感词检测

qq_37753580的博客

10-19

6969

在网上看到好多的敏感词检测，发现都是在推荐某某算法，但是敏感词全是利用文本去存放。在项目中不能很好的进行维护和管理（个人看法）。本文的敏感词的检测方式还是DFA算法检测，不过敏感词存放地址放入了Redis的中，方便维护和更新。 1.使用redis进行敏感词存储将文本中的敏感词读取出来然后存放到redis的中。使用设置类型进行存储（去重）代码略... 2.使用二叉树...

不得不做,敏感词过滤最佳实践