hitxiaoyin的博客

原创 基于倒排索引的组合敏感词过滤

1. 问题原型： 给定一段UGC文本或者网页文本，其中含有很多的敏感词或者无效词，但是有一些词只有和其他词一起出现的时候才算是敏感词，我们称其为组合关键词，需要一种算法，找到其中的组合敏感词和单个敏感词 2. 求解思路：   2.1 单关键词求解：     2.1.1 暴力求解： 将文本内容逐个和设定的关键词（以下称之为模式）进行比较，算法的复杂度为O（m*n*k