项目实战第十二讲：商品发布敏感词规则校验

已于 2022-08-09 21:10:06 修改
阅读量484 收藏 2
点赞数 1
分类专栏： 项目实战系列 文章标签： java 项目实战 风险商品 规则引擎 MQ
于 2022-06-08 10:33:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28959087/article/details/125160899
版权

文本是项目实战第十二讲：主要讲解商品发布时，依靠OCR识图能力，鉴别图中风险，并通过规则校验，减少误识几率。项目结构采用了star方法，Situation:概括性的总结业务背景和挑战；Task：介绍负责的任务已经需要达成的目标；Action：项目中你采取的关键行动；Result：项目落地后的实际效果

文章目录

1、项目背景

背景：目前ocr事前拦截识别已经上线应用，经过2轮存量商品的识别，目前误杀率较高，需要通过一系列的规则配置优化模型，减少误杀几率
难点：单一消息发送的数据量太大，如何解决

2、项目职责

①商品风险识别逻辑梳理
②敏感词规则表设计
③敏感词规则运营页开发
④商品识图时规则匹配

3、主要技术

①在识图流程中，大量使用了MQ

  • 接收canal消息，使用了MQ；
  • 将图片信息提供给架构组进行识图处理；
  • 识图得到结果后，回调商品中心使用了MQ。
  • 对MQ消息拆分和聚合

②考虑性能

  • 规则匹配流程中，大量使用了批量处理方式，防止性能瓶颈
使用 canal 的缺点<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
程序员 jet_qi
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
敏感词检测——C语言代码
05-15
本代码实现了敏感词检测。findcode是一个用来将敏感词与句子中排序后的单词先按字母顺序排序然后进行逐一比较的函数；如果两者相同，则return1；用数组下标0-25分别表示a-z字母，对应的每个下标对应的数组元素的值就是该字母在该词中出现的次数。part是一个将字符串中的单词剥离的函数；将敏感词从字符串中剥离出来，将输入的打乱每个单词内部字母顺序的句子中每个“词“剥离出来。
Words-away:防止文本敏感词检测 - Prevent the text-sensitive-word detection of coolapk
04-22
一个文本处理工具，用于防止对文本的敏感词检测。主要是因为酷安的折叠词太过蜜汁，**例如“申诉”也会被折叠（doge）**所以就有了这个工具。 设计目标为酷安，理论上所有完整支持Unicode的社区等 都能够使用，但...
【小程序】发布商品（上传图片、数据校验）
小李不背锅的博客
07-30 740
本文包括小程序封装日期时间选择框和上传图片等功能，js代码篇幅在200行左右，代码有详细注释
敏感词汇校验
weixin_59787755的博客
12-22 911
// 当敏感词汇第一次出现，提示再次确认，第二次出现则可以使用 //敏感词汇 let specialWord = ['12', '34', '56'] let ipt = document.querySelector('input') //失去焦点事件 ipt.addEventListener('blur', (event) => { let IptWord = ipt.value .
违禁敏感词检测
qq_18347165的博客
09-14 865
另外，自从新《广告法》出台后，作为广告、营销人等群体在写文案的过程中必须时时注意新法规定的禁用词，一旦误用，就有可能面临高额的罚款。除了可以对文本检测敏感违禁词进行有效把控，谛听安全还支持游戏及各大UCG平台的舆情监控，识别整个版本与周期出现的热点及高频负面词汇，帮助厂商在处理热点事件及竞品动态信息时掌握更加智能精准的消息，且效率更高。谛听内容审核的敏感词检测系统使用起来非常简单，支持API接口与在线私有化部署，试用产品时，只需将文本复制到检测文本框，点击查询，工具就能智能识别检测出敏感词汇。
敏感词检测、屏蔽设计（iOS & Android）
Elle0508的博客
05-05 666
敏感词检测 服务器端最常使用的算法是DFA算法。如果服务器端使用java实现常规的DFA算法，假若。。。 源码：https://github.com/qiyer/DFA_Cplusplus 转载于:https://www.cnblogs.com/qiyer/p/10813670.html...
sensitiveWordFiltering:多模式匹配 敏感词审核 支持谐音，特殊符号分割敏感词
05-15
sensitiveWordFiltering支持敏感词谐音、符合分割。敏感词：傻瓜处理前：你是个傻瓜，啥挂，傻-瓜。处理后:你是个**，**，*-*;
laravel-snstvwd:laravel框架的敏感词过滤器
05-12
敏感词过滤器 PHP基于确定有穷自动机（DFA）敏感词过滤器，支持 Laravel 框架。 安装 1. 利用composer安装包 $ composer require snstvwd/filter 2. 在config/app.php 里面添加： 'providers' => [ . . . ...
TextFilter:敏感词过滤系统
03-11
敏感词过滤系统 更多详见 Ubuntu Linux下环境构建： sudo apt-get install python-pip pip install nltk pip install jieba pip install pymongo Config下config文件： 可以进行服务器配置，针对数据库中预定...
基于Go语言实现敏感词检测源码+详细项目说明.zip
11-14
基于Go语言实现敏感词检测源码+详细项目说明.zip基于Go语言实现敏感词检测源码+详细项目说明.zip基于Go语言实现敏感词检测源码+详细项目说明.zip基于Go语言实现敏感词检测源码+详细项目说明.zip基于Go语言实现敏感词...
敏感词，敏感词库.sql，涵盖表结构，数据写入 直接导入即可
04-28
敏感词库sql 涵盖多方面敏感词
es搜寻引擎测试报告
05-31
es文档测试报告数据
使用IK中文分词器做敏感词过滤
m0_37453314的博客
04-09 5385
需求 部分字段（可能为富文本）需要做敏感词过滤，敏感词词库由产品给出。 前置条件 项目使用的spring cloud全家桶，springboot版本2.1.0 ,项目中集成了spring Data elasticsearch 单独为一个子模块被各个服务引用，elasticsearch 插件版本为6.6.2，并且es插件中已经安装ik中文分词器 设计要求 1、敏感词能精确过滤，速度尽量快 2、如果敏...
给一个违禁词检测可行的技术方案
最新发布
qq_33240556的博客
03-15 331
违禁词检测技术方案可以基于自然语言处理（NLP）技术和机器学习算法来实现，以下是一个基础的违禁词检测技术方案：一、构建违禁词库二、技术研发阶段三、系统集成与优化四、上线与运维。
私有化敏感词检测API服务wordscheck
wbsu2004的博客
11-22 7920
wordscheck 是敏感词检测 API，提供文本识别、智能鉴黄、涉政检测、谩骂等等敏感词检测过滤服务。
【python 走进NLP】两种高效过滤敏感词算法--DFA算法和AC自动机算法
热门推荐
赖德发的博客
10-19 1万+
1、DFA过滤敏感词算法 在实现文字过滤的算法中，DFA是比较好的实现算法。DFA即Deterministic Finite Automaton，也就是确定有穷自动机。 算法核心是建立了以敏感词为基础的许多敏感词树。 python 实现DFA算法： # -*- coding:utf-8 -*- import time time1=time.time() # DFA算法 class DFAFi...
敏感词校验
befroe_You的博客
11-07 5678
场景：敏感词存在数据库中，也缓存到redis中，判断评论信息是否包含敏感词。 方案一：用字符串charAt对比。 方案二：DFA算法 由于需求是只要存在敏感词就直接返回是否包含敏感词结果。所以用charAt方法速度快，占用内存小，所以方案一比较适合。 方案二适合，找到包含的所有敏感词，然后将敏感词输出，并替代。效率高。但是敏感词数量与所占内存成正比。 方案一代码： 思路：其实就是一段文...
java敏感词校验
weixin_40413961的博客
02-29 2171
最近有一个需求就是需要给一串文字做敏感词校验 需求 根据上传的一串字符里通过校验可以返回里面的敏感词 不同的用户有一个敏感词库 用户可以随时修改需要校验的敏感词库（不会经常修改） 解决方案 存储敏感词库 由于我们用的数据库是MYSQL 我们就将这个敏感词存在数据库，那就是怎么存text一下全部存储还是每个敏感词都分开，最后根据娇艳的规则方式将其存储为一个或一段敏感词存储在一行。 怎么去校验？...
敏感词检测算法review
real_ilin的博客
03-18 5022
字符串匹配是一个技术活，敏感词检测首先有一个敏感词词库，也就是敏感词的列表。 第一个想到的方法把敏感词放到一个set里，再待检测的文本分词，到set里去匹配； 第二种方法是遍历set，用正则表达式来过滤。 以上两种方法，在数据量小的时候没有问题，但是，当数据量非常大的时候，性能就不行了。 前缀树算法： https://blog.csdn.net/qq_37410328/article/detail...
编写一个程序实现如下功能：如果有敏感词的话就题把敏感词替换成*****并且赶紧退出，没有敏感词的话可以继续输入，并输出输入的内容。
05-10
以下是一个 Python 程序实现上述功能的示例代码： ```python sensitive_words = ["敏感词1", "敏感词2", "敏感词3"] # 定义敏感词列表 while True: text = input("请输入内容：") if any(word in text for word in sensitive_words): # 判断输入的内容中是否包含敏感词 for word in sensitive_words: text = text.replace(word, "*****") # 将敏感词替换成星号 print("检测到敏感词！已自动替换：", text) break else: print("输入的内容为：", text) ``` 运行程序后，会提示输入内容。如果输入的内容中包含敏感词，则会自动将敏感词替换成星号并输出替换后的内容，并且程序会退出；否则程序会继续运行，输出输入的内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员 jet_qi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值