Java实现敏感词过滤 - IKAnalyzer中文分词工具

最新推荐文章于 2024-10-13 17:20:00 发布

神奇Sam

最新推荐文章于 2024-10-13 17:20:00 发布

阅读量1.2w

点赞数 6

分类专栏： java 文章标签： java java敏感词 java敏感词过滤

本文链接：https://blog.csdn.net/sinat_14982831/article/details/77836034

版权

IKAnalyzer是一个开源的Java中文分词工具，可用于敏感词过滤。然而，由于分词不理想，例如将'发呆着'分为'发'和'呆着'，导致敏感词'发呆'过滤不完整。因此，推荐使用DFA算法实现更高效的敏感词过滤。

摘要由CSDN通过智能技术生成

IKAnalyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。

官网： https://code.google.com/archive/p/ik-analyzer/

本用例借助 IKAnalyzer 进行分词，通过遍历分词集合进行敏感词过滤。

使用前需对敏感词库进行初始化： SensitiveWordUtil.init(sensitiveWordSet);

1、pom.xml 引入maven依赖

<!-- https://mvnrepository.com/artifact/com.janeluo/ikanalyzer -->
<dependency>
    <groupId>com.janeluo</groupId>
    <artifactId>ikanalyzer</artifactId>
    <version>2012_u6</version>
</dependency>

2、工具类

package cn.swfilter.util;

import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;

import java.io.IOException;
import java.io.StringReader;
import java.util.*;

/**
 * 敏感词处理工具 - IKAnalyzer中文分词工具 - 借助分词进行敏感词过滤
 *
 * @author sam
 * @since 2017/9/4
 */
public class SensitiveWordUtil2 {
   

    /**
     * 敏感词集合
     */
    public static HashMap sensitiveWordMap;

    /**
     * 初始化敏感词库
     *
     * @param sensitiveWordSet 敏感词库

最低0.47元/天解锁文章