Java使用IKAnalyzer进行敏感词过滤

最新推荐文章于 2024-07-27 04:06:42 发布
最新推荐文章于 2024-07-27 04:06:42 发布
阅读量3.9k 收藏 6
点赞数 2
分类专栏： Java学习 文章标签： Java自然语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Coder_py/article/details/70653255
版权
本文介绍了如何在Java中使用IKAnalyzer进行敏感词过滤。IKAnalyzer是一个轻量级的中文分词工具，支持细粒度和智能分词模式，并具备较高的处理速度。2012版本增加了简单的分词歧义排除和数量词合并输出功能，同时支持英文、数字、中文词汇的分词处理。
摘要由CSDN通过智能技术生成

Java使用IKAnalyzer进行敏感词过滤

IK Analyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

IK Analyzer 2012特性:

采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式；

在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29 64位 普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。

最低0.47元/天 解锁文章
Coder_py
关注
专栏目录
xmljava系统源码-IKAnalyzer2017_6_6_0:IK中文分词，兼容solr/lucene6.6.0，优化数字和英文搜索
06-06
xml java系统源码 IKAnalyzer2017_6_6_0 码云: Github: IKAnalyzer2017_6_6_0.jar: Solr作为搜索应用服务器，我们在使用过程中，不可避免的要使用中文搜索。 以下介绍solr的第三方分词器IKAnalyzer。 注：下面操作在Linux下执行，所添加的配置在windonws下依然有效。 运行环境 Solr：6.6.0 系统 : Linux 以下是设置solr中文分词器的方法。 注：开始之前，假定你已经成功登录solr的界面，并创建了core。 新特性 在使用IKAnalyzer分词器之前，先说明由于作者在12年之后没有更新，导致旧版本的分词器和新版本的solr6.6.0无法匹配。 因此在源码的基础上做些改动，以兼容新版的solr。 兼容新版的solr6.6.0； 英文和数据支持单字分词； IK中文分词对于数字和英文的分词方式是：一个英文单词为一个语汇单元，一个数值为一个语汇单元。 比如："2017 IK Analyzer是一个中文分词开源工具包。"这个句话使用IK中文分词后的结果为： 所以针对数值和英文单词的部分搜索支持不好。
Java实现敏感词过滤 - IKAnalyzer中文分词工具
神奇Sam的博客
09-04 1万+
IKAnalyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。官网： https://code.google.com/archive/p/ik-analyzer/本用例借助 IKAnalyzer 进行分词，通过遍历分词集合进行敏感词过滤。 使用前需对敏感词库进行初始化： SensitiveWordUtil.init(sensitiveWordSet); package cn.
IKAnalyzer 添加扩展词库和自定义词
最新发布
weixin_40427471的博客
07-27 97
IKanalyzer分词器IK分词器源码位置 IKanalyzer源码基本配置如图所示是IKanlyzer加载默认配置的路径项目中配置扩展词库如图所示，当我们导入Ikanlyzer jar包后，使用扩展词库只需要在项目的src根目录下建立IKAnalyzer.cfg.xml文件，文件中配置扩展词库和停用词库的路径，具体配置...
【lucene系列学习四】使用IKAnalyzer分词器实现敏感词和停用词过滤
weixin_30908707的博客
03-21 288
Lucene自带的中文分词器SmartChineseAnalyzer不太好扩展，于是我用了IKAnalyzer来进行敏感词和停用词的过滤。 首先，下载IKAnalyzer,我下载了 然后，由于IKAnalyzer已经很久不更新了，不兼容现在的Lucene6版本，所以我参考网上的资料，重写了IKTokenizer和IKAnalyzer两个类。 1 package kidsearc...
Java实现敏感词过滤双向词库完美跳过大江阴毛纺厂
张人杰的博客
12-13 426
本版本为3.0双向词汇版本，顺序扫描文本时，会判断正向词汇和反向词汇，有交叉的以等级高的为准，最后会统计出命中正向词汇和命中敏感词汇。 原理：http://blog.csdn.net/ranjio_z/article/details/75446147，欢迎指教询问打赏。 使用说明： 1、本 Java工具包由北京师范大学2000级计算机系 张人杰 开发制作 基于多叉树的查找，任何问题请联系： z...
IKAnalyzer分词单独使用例子
bupt_xieruyi的专栏
11-25 1860
IKAnalyzer分词单独使用例子 javaIKAnalyzerIKAnalyzer使用中文分词 最近用了一下中文分词工具，网上说中科院研究的盘古分词比较好，找了一下没有java版本的，只有.net版本的，所以选用的IKAnalyzer分词工具. IKAnalyzer官方说有以下特点（我没有做过测试，不知是真是假）： 采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒
Java IKAnalyzer 中文分词器
10-12
IK-Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包，也就是可以将一串中文字符分割成一个个的词组或者字词 ...文件中包含分词工具 ikanalyzer-2012_u6.jar 中文分词配置 IKAnalyzer.cfg..xml
使用IK Analyzer实现中文分词之Java实现
03-29
从 2006年 12 月推出 1.0 版开始， IKAnalyzer 已经推出了 4 个大版本。最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。 从 3.0 版本开始，IK 发展为面向 Java 的公用分词...
IKAnalyzer 中文分词 完整java项目demo
01-12
IKAnalyzer非常易用的java分词工具。可以自定义扩展词汇。 这个是一个完整的java项目demo。直接可以用，不用再去google下载了。添加了几个自定义词汇，测试好用。 运行ika.java里的main方法即可
IKAnalyzer3.2.5Stable.jar
10-25
IKAnalyzer是一款基于Java语言开发的全文检索分析器，主要用于对中文文本进行高效的分词处理。在标题中的"IKAnalyzer3.2.5Stable.jar"指的是该软件的特定版本，即3.2.5稳定版的Java档案文件（JAR）。这种格式的文件...
使用IK Analyzer实现中文分词之Java实现（包含所有工具包）
03-30
1、lucene-core-3.6.0.jar 2、IKAnalyzer2012.jar（主jar包） 3、IKAnalyzer.cfg.xml（分词器扩展配置文件） 4、stopword.dic（停止词典） 5、IkSegmentation.java（样例类）
ELK专栏之IK分词器和Java api操作索引--05
m0_53157173的博客
09-16 960
自己建立词库：○ 每年都会涌现一些特殊的流行的词，比如网红、蓝瘦香菇、喊麦等，一般不会出现在原生词典中。○ 步骤：①创建mydict.dic文件，补充最新的词语。②IKAnalyzer.cfg.xml文件中，配置mydict.dic。 < properties > < comment > IK Analyzer 扩展配置
基于ik分词器和布隆过滤器实现敏感词过滤
牧码人博客@luckyhe.com
08-21 1302
文章目录准备阶段为何选用IK Analyzer什么是布隆过滤器开发过程整合Ik总结 《基于ik分词器和布隆过滤器实现敏感词过滤》首发牧马人博客转发请加此提示 最近公司业务有个需求，要过滤掉敏感词，涉及到敏感词，我首先就想到了使用分词器以及布隆过滤器来实现它。 准备阶段 对市场上分词器进行了一个调研，目前市场上有很多分词器，比如IkAnalyzer,Hanlp等等。经过一系列的了解我最终选择了’IkAnalyzer’。另外我很快就定位到了BloomFilter（布隆过滤器）这是一个布隆提出的一个算法。他可以高
中文分析器IK Analyzer
ltcz99的博客
03-09 296
1中文分析器IK Analyzer 1.1 IK Analyzer简介 IK Analyzer 是一个开源的，基亍 java 语言开发的轻量级的中文分词工具包。从 2006年 12 月推出 1.0 版开始， IKAnalyzer 已经推出了 4 个大版本。最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。从 3.0 版本开始，IK 发展为面向 Java ...
java ik_使用IK Analyzer实现中文分词（JAVA）
weixin_42554162的博客
02-21 842
IK Analyzer是基于lucene实现的分词开源框架；需要在项目中引入：IKAnalyzer.cfg.xml 、IKAnalyzer2012.jar 、lucene-core-3.6.0.jar 、stopword.dicIK Analyzer示例代码如下：package com.haha.test;import java.io.IOException;import java.io.Stri...
IK分词器
weixin_70721552的博客
09-24 2472
ik分词器
使用IKAnalyzer实现中文分词&去除中文停用词
热门推荐
在路上的学习者
12-29 1万+
1、简介：IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。这里使用的是IKAnalyzer2012。 2、IK Analyzer 2012特性: （1）采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式； （2）在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29
Lucene使用IKAnalyzer分词实例 及 IKAnalyzer扩展词库
weixin_33994444的博客
04-07 257
方案一: 基于配置的词典扩充 项目结构图如下:IK分词器还支持通过配置IKAnalyzer.cfg.xml文件来扩充您的专有词典。谷歌拼音词库下载: http://ishare.iask.sina.com.cn/f/14446921.html?from=like在web项目的src目录下创建IKAnalyzer.cfg.xml文件,内容如下 &lt;?xml version="1.0" e...
怎么利用载 IKAnalyzer进行敏感词过滤
05-19
如果你想要利用 IKAnalyzer 进行敏感词过滤，你可以按照以下步骤进行： 1. 使用 IKAnalyzer 对文本进行分词，得到词语列表。 2. 将敏感词列表加载到内存中。 3. 遍历词语列表，对每个词语进行敏感词匹配。 4. 如果...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值