lucene中不同的字段应用不同的分词

最新推荐文章于 2020-07-01 16:50:52 发布
最新推荐文章于 2020-07-01 16:50:52 发布
阅读量613 收藏
点赞数 1
分类专栏： lucene 文章标签： lucene string
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amw_demon/article/details/2945669
版权
 在lucene的现有的Analyzer的TokenStream tokenStream(String fieldName, Reader reader)方法中的第一个参数String fieldName都没有得用应用.在现有的lucene(<=lucene2.4)建索引过程中,所有的字段都用一种分词,这个参数是没用的.今天突然有这个想法,可以写一个Analyzer,在TokenStream tokenStream(String fieldName, Reader reader)种fieldName的不同的值返回不同的Tokenizer,这样就可以实现不同字段用不同的分词.
amw_demon
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Lucene为不同字段指定不同分词器(转)
itfafa的博客
01-31 418
在lucene使用过程中，如果要对同一IndexWriter中不同 Document，不同Field中使用不同的analyzer，我们该如何实现呢？ 通过对《lucene in action》的阅读，发现是可以解决这一问题的。lucene可以正对整个IndexWriter对象或者每一个document对象或者特定 Field使用不同的分析器。 Java代码 复制代码 Anal...
Apache Lucene 几种分词系统
weixin_33748818的博客
11-11 135
1、 StopAnalyzer StopAnalyzer能过滤词汇中的特定字符串和词汇，并且完成大写转小写的功能。 2、 StandardAnalyzer StandardAnalyzer根据空格和符号来完成分词，还可以完成数字、字母、E-mail地址、IP地址以及中文字符的分析处理，还可以支持过滤词表，用来代替StopAnalyzer能够实现的过滤功能。 3、 SimpleAnalyze...
不同规则的中文分词对Lucene索引的影响
weixin_30696427的博客
12-28 71
不同规则的中文分词对Lucene索引的影响 田春峰 在中文全文索引中为了建立反向索引需要对文档中的句子进行切分，相关理论请参见车东的...
【Lucene】分词器详解，常用的分词器，IKANalyzer
来日浅谈的博客
07-01 3648
【Lucene】分词器详解，常用的分词器，IKANalyzer1. 分词器详解1.1 分词器的作用1.2 分词器API1.2.1 示例1.2.2 Analyzer1.2.3 createComponents(String fieldName)1.2.4 TokenStreamComponents1.2.5 TokenStream1.2.6 TokenStream 的两类子类1.2.7 TokenStream 继承了 AttributeSource1.2.8 AttributeSource使用规则说明1.2.
Lucene笔记15-Lucene的分词-通过TokenStream显示分词
王劭阳的博客
10-25 303
一、展示分词内容 package com.wsy; import org.apache.lucene.analysis.*; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; impo...
lucene.NET 中文分词
05-26
- **jieba.NET**：基于jieba分词的.NET实现，支持多种分词模式，包括精确模式、全模式、搜索引擎模式等，适用于不同的应用场景。 ### 2. Lucene.NET与分词器的集成 集成第三方分词器到Lucene.NET主要涉及以下几个...
如何使用Lucene的中文分词搜索
03-24
1. **中文分词器**：在Lucene中，针对中文的分词通常使用第三方插件，如IK Analyzer、jieba分词库或SmartChinese Analyzer。这些分词器能识别中文词汇并将其拆分为单个词元（Token）。 2. **配置分析器**：在...
Lucene.net 盘古分词C#
11-02
在实际应用中，将Lucene.net与盘古分词结合，可以构建出一个高性能的日志搜索系统。通过"别人的例子.zip"和"LucenProject.zip"这两个压缩包文件，你可能会找到具体的代码示例和项目结构，从而更好地理解和学习如何在...
Lucene-Demo.rar Lucene分词的demo
04-18
在实际使用Lucene进行分词时，首先需要了解其核心概念，如文档、字段、术语（tokens）和索引。Lucene通过创建倒排索引，使得搜索操作高效。分词器（Analyzer）在索引和搜索过程中扮演重要角色，它将输入的文本拆分...
Lucene.Net +盘古分词 搜索引擎
09-13
**正文** Lucene.Net是一个基于Apache Lucene的全文检索库，专门为.NET Framework设计。...通过深入理解Lucene.Net的内部机制和盘古分词的工作原理，可以进一步优化搜索性能，满足不同场景的需求。
Lucene分词器
Winyar的博客
07-19 247
介绍 历史: 创始人Doug Cutting(hadoop); lucene:是搜索引擎的工具包基于java编写的 特点 稳定,索引性能高(倒排索引) 现代硬盘每小时索引150G数据(索引:创建索引文件) java运行时要求的堆内存1MB 增量索引和批量索引一样快提供排名 支持多种主流的搜索功能:短语,通配符,模糊,近似,范围,此项,多 义词等查询功能 lucene的分词计算 分词:分词的过程就...
Lucene实现分词
Arno的博客
02-23 1024
1、我使用的jar为IKAnalyzer2012_u6.jar 请自行百度下载，并引用到项目中 2、pom.xml 添加引用 &amp;lt;dependency&amp;gt; &amp;lt;!-- 查询相关jar包 --&amp;gt; &amp;lt;groupId&amp;gt;org.apache.lucene&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;
用于Lucene的各中文分词比较
热门推荐
chs_jdmdr的专栏
03-16 2万+
用于Lucene的各中文分词比较 作者: Claymore　时间: 2011-09-09 17:53:26 Arial Tahoma Verdana 宋体 楷体  字体减小 字体加大 对几种中文分析器，从分词准确性和效率两方面进行比较。分析器依次为：StandardAnalyzer、ChineseAnalyzer、 CJKAnalyzer、IK_CAna
Lucene分词详解
yin4302008的专栏
01-22 1465
      分词和查询都是以词项为基本单位，词项是词条化的结果。在Lucene中分词主要依靠Analyzer类解析实现。Analyzer类是一个抽象类，分词的具体规则是由子类实现的，所以对于不同的语言规则，要有不同的分词器       1. StopAnalyzer       停用词分词器：能过滤词汇中的特定字符串和词汇，并且完成大写转小写的功能。       2. StandardAnal...
Lucene全文检索_分词_复杂搜索_中文分词器
weixin_30736301的博客
07-16 907
1Lucene简介 Lucene是apache下的一个开源的全文检索引擎工具包。 1.1全文检索（Full-text Search） 1.1.1定义 全文检索就是先分词创建索引，再执行搜索的过程。 分词：就是将一段文字分成一个个单词 全文检索就将一段文字分成一个个单词去查询数据！！！ 1.1.2应用场景 1.1.2.1搜索引擎（了解） 搜索引擎是一个...
Lucene中文切分原理及其他常见切分算法
ayi_5788的专栏
08-05 6579
1、 什么是中文分词学过英文的都知道，英文是以单词为单位的，单词与单词之间以空格或者逗号句号隔开。而中文则以字为单位，字又组成词，字和词再组成句子。所以对于英文，我们可以简单以空格判断某个字符串是否为一个单词，比如I love China，love 和 China很容易被程序区分开来；但中文“我爱中国”就不 一样了，电脑不知道“中国”是一个词语还是“爱中”是一个词语。把中文的句子切分成有意义的词，就
Lucene的Field域、分词器
huangyh技术栈
11-13 1094
1.1 分词器介绍  在对文档（Document）中的内容进行索引前，需要对域（Field）中的内容使用分析对象（分词器）进行分词 。分词的目的是为了索引，索引的目的是为了搜索。过程是先分词，再过滤。 分词：将Document中Field域的值切分成一个一个的单词。具体的切分方法（算法）根据使用的 分词器而不同。 过滤：去除标点符号，去除停用词（的、啊、是、is、the、a等），词的大写转...
Lucene-5.5.2 Field域创建时，分词与不分词的理解
wj.geyuan
07-21 596
首页，大家可以先看下这个文章引用【[url]http://iamyida.iteye.com/blog/2194345[/url]】 我以前是用的是lucene 3.X版本，后来某些原因要更新到lucene 5.x版本，所以选择了5.5.2版本，在升级的过程中查阅了资料。其中就是在LUCENE4 版本及以前都是使用 [code="java"] doc.add(new Field(groupN...
Lucene分词器详解
小好的博客
01-08 3394
Lucee4.0和ikAnalyzer分词器

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值