java 敏感词检测_关于java中敏感词检测的一些总结

之前项目里客户提出一个需求，需要对系统中使用文本转化成语音发送的功能进行敏感词检测，禁止用户提交有敏感词的语音。通过查询各方面资料，整理了大概几种方案:

项目启动时对载入敏感词库作为缓存(一个大map，敏感词为key，取任意值为value)。 对请求传入的文本分词，遍历分词结果，每个分词在map中查找，如果有值，则请求文本存在敏感词。

把敏感词库拼接成一个大的正则表达式，然后直接对文本匹配。

使用DFA(确定性有限状态自动机) DFA算法

对于方案选择，在网上参考了很多别人的代码。最简单的是方法2使用正则表达式，但是据说文本一长会有很大的效率问题。关于方法3DFA算法，由于在学校的时候算法课和编译原理没有认真听讲(惭愧= =||)，直接就忽略这方法了，所以最后还是决定使用方法1。 其实方法1还是有很多可以改进的方法，后来又参考了这个帖子12楼中的方法，使用索引数组加关联数组的方式，提高了检索效率,甚至连分词的步骤都省掉了。整个实现代码如下。

package com.ffcs.cbox.common.utils;

import org.apache.commons.io.FileUtils;

import org.apache.commons.lang.StringUtils;

import java.io.IOException;

import java.util.ArrayList;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

/**

* User: eternity

*