Java实现自定义敏感词库过滤

4 篇文章 0 订阅
1 篇文章 0 订阅

最近接到一个需求,要添加一个敏感词管理模块,一如既往的CURD,敏感词我们添加到了自己的库里。然后进行一个自定义敏感词过滤,话不多说直接贴代码

1、工具类

这里只是最简单的得到敏感词进行转换,可以根据自己的业务需求进行填充

package com.zylc.bixiang.business.keywords.web;

import com.zylc.bixiang.business.keywords.domain.repository.BXKeyWordsMapper;
import com.zylc.bixiang.business.keywords.domain.vo.BXKeyWordsVO;
import org.springframework.beans.factory.annotation.Autowired;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.Collection;
import java.util.HashMap;
import java.util.List;

/**
 * @author admin
 * @Description: 敏感词过滤 工具类
 * @Date : 2021/10/28 10:21
 * @Modified By :
 */
public class SensitiveWordFilter {
    @Autowired
    BXKeyWordsMapper bxKeyWordsMapper;

    //初始化
    private StringBuilder replaceAll;
    private String encoding = "UTF-8";
    private String replceStr = "*";
    private int replceSize = 500;

    private List<BXKeyWordsVO> keyWordsVOS;

    /**
     * @param str 将要被过滤信息
     * @return 过滤后的信息
     */
    public String filterInfo(String str) {
        StringBuilder buffer = new StringBuilder(str);
        HashMap<Integer, Integer> hash = new HashMap<Integer, Integer>(keyWordsVOS.size());
        String temp;
        for (int x = 0; x < keyWordsVOS.size(); x++) {
            temp = keyWordsVOS.get(x).getValue();
            int findIndexSize = 0;
            for (int start = -1; (start = buffer.indexOf(temp, findIndexSize)) > -1; ) {
                //从已找到的后面开始找
                findIndexSize = start + temp.length();
                //起始位置
                Integer mapStart = hash.get(start);
                //满足1个,即可更新map
                if (mapStart == null || (mapStart != null && findIndexSize > mapStart)) {
                    hash.put(start, findIndexSize);
                }
            }
        }
        Collection<Integer> values = hash.keySet();
        for (Integer startIndex : values) {
            Integer endIndex = hash.get(startIndex);
            buffer.replace(startIndex, endIndex, replaceAll.substring(0, endIndex - startIndex));
        }
        hash.clear();
        return buffer.toString();
    }

    /**
     * 初始化敏感词库
     */
    public void InitializationWork() {
        replaceAll = new StringBuilder(replceSize);
        for (int x = 0; x < replceSize; x++) {
            replaceAll.append(replceStr);
        }
        //加载词库
        keyWordsVOS = bxKeyWordsMapper.findAllKeywords();
    }

    public StringBuilder getReplaceAll() {
        return replaceAll;
    }

    public void setReplaceAll(StringBuilder replaceAll) {
        this.replaceAll = replaceAll;
    }

    public String getReplceStr() {
        return replceStr;
    }

    public void setReplceStr(String replceStr) {
        this.replceStr = replceStr;
    }

    public int getReplceSize() {
        return replceSize;
    }

    public void setReplceSize(int replceSize) {
        this.replceSize = replceSize;
    }

    public void setEncoding(String encoding) {
        this.encoding = encoding;
    }
}

3、因为我们业务有敏感级别,我要得到每个敏感词和相对应的级别,所以上方初始化词库用的集合对象 

 

 

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值