基于布隆过滤器快速匹配敏感词、关键词、品牌词

最新推荐文章于 2024-11-16 17:37:48 发布

原创

最新推荐文章于 2024-11-16 17:37:48 发布 · 465 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#java #微服务 #开发语言

基于布隆过滤器快速匹配敏感词、关键词、品牌词

使用

如果要和类目关联，在品牌词加表示-类目，查询的时候补上类目即可
原词要进行穷举比如 1 2 3，形成 1，2,3,12,23,123 进行匹配
大小写的话直接插入和查询的适合自己提前先转换一下即可
800w 数据占用 20mb 内存，200 条数据 3ms 出结果

package cn.hutool.dfa;

import cn.hutool.bloomfilter.BitMapBloomFilter;
import cn.hutool.core.thread.ThreadUtil;
import org.junit.Before;
import org.junit.Test;
import org.python.sizeof.RamUsageEstimator;

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.Arrays;
import java.util.LinkedHashSet;
import java.util.List;
import java.util.Set;

public class BloomFilterTreeTest {
	BitMapBloomFilter filter = new BitMapBloomFilter(20);

	Set<String> set = new LinkedHashSet<>();

	List<String> realsTest = Arrays.asList(");

	@Before
	public void generateCombinations() {
		// 开始时间
		long start = System.currentTimeMillis();
		String input = "NICK nick优质品牌";
		int length =