10 Lucene：03.中文分析器

最新推荐文章于 2020-05-13 22:30:24 发布
VIP文章 最新推荐文章于 2020-05-13 22:30:24 发布
阅读量184 收藏 1
点赞数
分类专栏： 计算机的编程 文章标签： Lucene
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40993412/article/details/101598347
版权

10 Lucene：03.中文分析器

12.查看分析器的分析效果、13.中文分析器介绍、14.中文分析器测试、15.在代码中使用中文分析器

16.常用的field使用

Lucene的官网下载 点击Download

本例程使用：lucene-7.4.0.zip

运行环境要求jdk1.9版本或以上

开发工具：IntelliJ IDEA 2019.2.2

本入门案例用到的jar包：

commons-io-2.6.jar

lucene-core-7.4.0.jar

lucene-analyzers-common-7.4.0.jar

 一、本教程之前的环境搭建源码 

=====================================

10 Lucene：01.全文检索基本介绍

最低0.47元/天 解锁文章
康冕峰
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
jieba-lucene-analiysis:jieba的lucene中文分析器和令牌生成器
05-10
捷巴-lucene分析 jieba使用的lucene中文分析器和Tokenizer（ ）。
lucene&solr-day1
weixin_33973609的博客
07-31 157
全文检索课程 Lucene&Solr（1） 1. 计划 第一天：Lucene的基础知识 1、案例分析：什么是全文检索，如何实现全文检索 2、Lucene实现全文检索的流程 a) 创建索引 b) 查询索引 3、配置开发环境 4、创建索引库 5、查询索引库 6、分析器的分析过程 a) ...
lucene超基础入门案例分析
motongxue的博客
02-17 251
文章目录―、什么是全文检索1、数据的分类2、数据的査词3、全文检索二、 全文检索的应用场景三、 什么是Lucene四、 Lucene实现全文检索的流程1.创建索引2.查询索引五、入门程序1 ．创建索引2. 使用 luke 查看索引库中的内容3. 查询索引库六、分析器1. 查看分析器的分析效果2. IKAnalyzer 的便用方法（中文分析器）七、索引库维护Field域的属性添加文档删除文档3. 修...
Lucene之七（开源的中文分析器）
爱java，爱生活
12-22 197
  当前的中文分析器大致的有以下几个 1、IK Analyzer    基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默...
Lucene中文分析器的中文分词准确性和性能比较
approximation的专栏
03-06 537
 Lucene中文分析器的中文分词准确性和性能比较 对几种中文分析器，从分词准确性和效率两方面进行比较。分析器依次为：StandardAnalyzer、ChineseAnalyzer、CJKAnalyzer、IK_CAnalyzer、MIK_CAnalyzer、MMAnalyzer、PaodingAnalyzer。 单纯的中文分词的实现一般为按字索引或者按词索引。按字索引顾名思义，
Lucene使用（四）中文分词器smartcn
xxpsw的博客
12-26 6929
Lucene自带多种分词器，其中对中文分词支持比较好的是smartcn。 1. 标准分词器StandardAnalyzer 在演示smartcn中文分词器之前，先来看看Lucene标准分词器对中文分词的效果。需要的jar为\lucene-5.5.5\core\下的lucene-core-5.5.5.jar和\lucene-5.5.5\analysis\common\下的lucene-analy
lucene相关jar+查询分析器jar
09-29
lucene相关jar+查询分析器jar，具体使用可参见资源，类似于map查询吧
Lucene：基于Java的全文检索引擎简介
07-02
Lucene是一个基于Java的全文索引工具包。 1. 基于Java的全文索引引擎Lucene简介：关于作者和Lucene的...5. Hacking Lucene：简化的查询分析器，删除的实现，定制的排序，应用接口的 扩展 6. 从Lucene我们还可以学到什么
lucene-project.rar
09-29
Lucene实现全文检索demo，包括创建索引，查询索引，查询索引库，查看分析器的分析效果，使用IKAnalyze对中文进行分词，索引库的维护包括增删改查等
Lucene.Net.Analysis.MMSeg:基于Chih-Hao Tsai的MMSeg算法（http
03-23
基于芷浩仔的MMSeg算法（ ）实现的中文分词器，并实现lucene.net的分析器以方便在Lucene.Net中使用。本代码来源于王员外（ ）基于Java版的翻译，升级到了最新版本Lucene.Net（≥3.0.3），并包含简单示例和NuGet...
Lucene支持中文分词的分析器使用
weidianlun的博客
06-05 1551
分析器（Analyzer）的执行过程如下图是语汇单元产生过程 从一个Reader字符流开始，创建一个基于Reader的Tokenizer分词器，经过三个TokenFilter生成语汇单元Tokens。 要看分析器的分析效果，只需要看Tokenstream中的内容就可以了。每个分析器都有一个方法tokenStream，返回一个tokenStream对象。8.3.中文分析器8.3.1.Lucene自
Lucene系列八：分析器详解
布道
12-09 2612
分析器负责对文本进行分词、语言处理得到词条，建索引和搜索的时候都需要用到分析器。Lucene的分析器往往包括一个分词器(Tokenizer)和多个过滤器(TokenFilter)，过滤器负责对切出来的词进行处理，如去掉敏感词、转换大小写、转换单复数等。 目录 1.执行过程 1.1Analyzer 1.2TokenStream 1.3Tokenizer 1.4 TokenFilt...
Lucene的各中文分词比较
Think
05-04 2099
对几种中文分析器，从分词准确性和效率两方面进行比较。分析器依次为：StandardAnalyzer、ChineseAnalyzer、 CJKAnalyzer、IK_CAnalyzer、MIK_CAnalyzer、MMAnalyzer（JE分词）、PaodingAnalyzer。 单纯的中文分词的实现一般为按字索引或者按词索引。按字索引顾名思义，就是按单个字建立索引。按词索引就是按词喽，根据词库中
Lucene 中文分词器概述 与 Ik-Analyzer 使用教程
热门推荐
蚩尤后裔-汪茂雄
08-31 3万+
目录 Ik-Analyzer 简介 GoogleCode 官网介绍 IK Analyzer 2012 特性 版本兼容 Ik-Analyzer 使用 Ik-Analyzer 下载 导入开发包 创建索引 查询索引 官方示例 Ik-Analyzer 简介 GoogleCode 开源项目 :http://code.google.com/p/ik-analyzer/，开发包下载地址：...
用于Lucene的各中文分词比较
chs_jdmdr的专栏
03-16 2万+
用于Lucene的各中文分词比较 作者: Claymore　时间: 2011-09-09 17:53:26 Arial Tahoma Verdana 宋体 楷体  字体减小 字体加大 对几种中文分析器，从分词准确性和效率两方面进行比较。分析器依次为：StandardAnalyzer、ChineseAnalyzer、 CJKAnalyzer、IK_CAna
java鬼混笔记：lucene 4、中文分词器--IKAnalyzer
u013845177的博客
10-06 761
IKAnalyzer基本使用; IKAnalyzer自定义分词; IKAnalyzer自定义停用词;
Lucene（五）分析器
java_shm的专栏
05-13 194
1.分析器的分词效果 1.1 分析文本 "The Spring Framework provides a comprehensive programming and configuration model." 1.2 代码 import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.standard.Stand
Lucence-IKAnalyzer中文分词器
chenzuyibao的博客
06-08 969
LucenceIKAnalyzer中文分词器    分词方式：细粒度切分 和 最大词长切分，    如下为示例：    IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包     最大词长分词后结果类似如下:     ikanalyzer | 是 | 一个 | 开源 | 的 | 基于 | java | 语言 | 开发 | 的 | 轻量级 | 的 | 中文 | 分词 | ...
lucene三---中文分词器
youfashion的博客
08-31 879
1.1. 中文分析器 1.1.1.  Lucene自带中文分词器 l  StandardAnalyzer： 单字分词：就是按照中文一个字一个字地进行分词。如：“我爱中国”， 效果：“我”、“爱”、“中”、“国”。 l  CJKAnalyzer 二分法分词：按两个字进行切分。如：“我是中国人”，效果：“我是”、“是中”、“中国”“国人”。   上边两个分词器无法满足需求。 l  S
包的功能package lk_demo.lucene_demo; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.core.StopAnalyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import org.wltea.analyzer.lucene.IKAnalyzer; import java.io.IOException; import java.io.StringReader;
最新发布
05-25
这个包的功能主要是使用 Lucene 搜索引擎进行分词和分析文本数据。其中包含了多个分词器（Analyzer），如标准分词器（StandardAnalyzer）、停用词分词器（StopAnalyzer）和 IK 分词器（IKAnalyzer）。通过调用不同的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

康冕峰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值