Lucene 源码剖析 三 索引文件结构(2)

最新推荐文章于 2020-03-14 16:30:48 发布
最新推荐文章于 2020-03-14 16:30:48 发布
阅读量1.6k 收藏
点赞数
分类专栏： lucene学习 文章标签： lucene 存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pangliyewanmei/article/details/5721224
版权

3.3 每个Segment包含的文件

   

剩下的文件（remaining files）都是per-segment（每个片断文件），因此（thus）都用后缀来定义（defined by suffix）。   

                         

3.3.1 Fields域数据文件

3.3.1.1             Field信息（.fnm）

    

Field的名字都存储在Field信息文件中，后缀是.fnm。      

                   

文件

包含的项

数目

类型

版本

描述

FieldsInfo(.fnm)

FieldsCount

1

VInt

 

 

FieldName

FieldsCount

<span style="font-family: 'Times New Roman'; background

pangliyewanmei
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入剖析Lucene的索引结构与存储机制
AGI通用人工智能之禅
06-14 120
Apache Lucene是一个高性能、全功能的搜索引擎库,由Java编写,提供了完整的查询引擎和索引引擎功能。它是目前最流行和最成熟的开源搜索引擎库之一,被广泛应用于全文检索和数据挖掘领域。 Lucene的主要特点包括: - 高性能、高可扩展性 - 支持各种文档格式(PDF、Word、HTML等) - 跨平台、开源免费 - 支持中文分词、同义词等高级功能
Lucene 源码剖析 二 索引文件结构(1)
solotraveler
07-08 6637
2           索引文件为了使用Lucene来索引数据，首先你得把它转换成一个纯文本（plain-text）tokens的数据流（stream），并通过它创建出Document对象，其包含的Fields成员容纳这些文本数据。一旦你准备好些Document对象，你就可以调用IndexWriter类的addDocument(Document)方法来传递这些对象到Lucene并写入索引中。当你做这些的时候，Lucene首先分析（analyzer）这些数据来使得它们更适合索引。详见《Lucene In Ac
Lucene 源码剖析 五 索引文件结构(4)
solotraveler
07-08 2096
3.3.6Term向量文件Term向量（vector）的支持是field基本组成中对一个field来说的可选项，它包含如下4种文件：             1.       文档索引或.tvx文件：对每个文档来说，它把偏移（offset）存储进文档数据（.tvd）文件和域field数据（.tvf）文件     版本包含的项数目类型描述全部版本TVXVersion1Int在Lucene 2.4中为3 (TermVectorsReader.FORMAT_VERSION2)DocumentPositionNum
Lucene 源码剖析 一 索引文件概述
solotraveler
07-08 3378
1           Lucene是什么Apache Lucene是一个高性能（high-performance）的全能的全文检索（full-featured text search engine）的搜索引擎框架库，完全（entirely）使用Java开发。它是一种技术（technology），适合于（suitable for）几乎（nearly）任何一种需要全文检索（full-text search）的应用，特别是跨平台（cross-platform）的应用。Lucene 通过一些简单的接口（simpl
Lucene源码分析 - 倒排索引之索引表
RovisuKi的博客
03-14 1130
概要 前文已经介绍过什么是倒排索引了，本文将对倒排索引的结构深入进行理解，见下图 整个倒排索引其实分为两部分，左边是Term Dictionary，右边是Postings List，例如对以下内容建立倒排索引，结构较为贴近HashMap>，可类比设想Map的key为Term，value为Postings ...
Lucene DocValues索引文件详解
Lucene/Solr解密
11-29 3536
解密DocValues索引的存储结构，为何正向索引能给搜索结果再处理带来更多可能性和不一样的体验。由哪里结构完成存储需求，相对FieldCache又有哪些优点？
Lucene 源代码剖析-3 索引文件结构(2)
soledede
08-08 99
Lucene 源码剖析   3.3 每个Segment包含的文件     剩下的文件（remaining files）都是per-segment（每个片断文件），因此（thus）都用后缀来定义（defined by suffix）。                              3.3.1 Fields域数据文件 3.3.1.1             Field信息（...
Lucene 源代码剖析-3 索引文件概述
soledede
08-08 87
Lucene 源码剖析 2           索引文件            为了使用Lucene来索引数据，首先你得把它转换成一个纯文本（plain-text）tokens的数据流（stream），并通过它创建出Document对象，其包含的Fields成员容纳这些文本数据。一旦你准备好些Document对象，你就可以调用IndexWriter类的addDocument(Documen...
Lucene 源代码剖析-5 索引文件结构(4)
soledede
08-08 87
Lucene 源码剖析         3.3.6 Term向量文件        Term向量（vector）的支持是field基本组成中对一个field来说的可选项，它包含如下4种文件：              1.       文档索引或.tvx文件：对每个文档来说，它把偏移（offset）存储进文档数据（.tvd）文件和域field数据（.tvf）文件       ...
Annotated Lucene 中文版 Lucene源码剖析
09-01
Annotated Lucene 中文版 Lucene源码剖析
annotated-lucene源码剖析
09-01
Apache Lucene 是一个高性能（high-performance） 的全能的全文检索（full-featured text search engine） 的搜 索引擎框架库，完全（entirely）使用 Java 开发。 它是一种技术（technology），适合于（suitable for...
Lucene读取索引文件
08-11
NULL 博文链接：https://cxl2012.iteye.com/blog/2233035
Lucene结合Sql建立索引Demo源码.rar
07-09
本源码演示了Lucene结合Sql建立索引，把Sql中的数据通过建立索引用Lucene来检索 【该源码由51aspx提供】   源码 " onerror="this.src='/images/ifnoimg.gif'" src="/uploads/allimg/090904/1039152O5-0.jpg...
Lucene多线程操作实现
solotraveler
07-15 5872
<br />1. 允许任意多的读操作并发，即任意数量用户可同时对同一索引做检索操作。<br />2. 即便正在进行索引修改操作(索引优化、添加文档、删除文档)，依然允许任意多的检索操作并发执行。<br />3. 不允许并发修改操作，也就是说同一时间只允许一个索引修改操作。<br />Lucene内部已经对多线程安全进行了处理，很多操作都使用了 lock 进行多线程同步锁定。只要遵循一定的规则，就可以在多线程环境下安全运行 Lucene。<br />方案一：<br />建议：<br />1. Directot
lucene索引结构分析
solotraveler
07-08 5585
<br />Lucene是一个优秀的开源全文搜索项目，很多项目的搜索模块都是使用Lucene。<br />例如大名鼎鼎的eclipse的帮助系统就是使用的Luence作为起做索引的内核。<br />Lucene良好的体系结构使得其API接口非常方便易用，使得非自然语言处理的专业人员可以不用关心内部的索引结构，也可以很快的搭建起一个搜索引擎。但是对于高级用户和专业人员，了解其背后使用的索引结构也是必不可少的。 <br />在研究生阶段，我自己也弄了一个索引结构，好奇心促使我将Luence的索引结构和自己的索引
Lucene开发环境配置
solotraveler
07-02 4216
step1.Java开发环境配置JAVA_HOME=C:/j2sdk1.4.2_04CLASSPATH=.;C:/j2sdk1.4.2_04/lib/tools.jar;C:/j2sdk1.4.2_04/lib/dt.jar;C:/j2sdk1.4.2_04/bin;path=C:/j2sdk1.4.2_04/binstep2.Tomcat安装环境变量的设置 ，其设置都在用户变量中，而且登陆的也是相应的用户。以下是用户变量中设置的路径：JAVA_HOME=E:/Java/jdk1.6path=%JAVA_H
lucene在eclipse下运行
solotraveler
07-04 4137
<br />  昨天在CMD下测试了LUCENE的DEMO，今天将其在eclipse上也成功运行，这样以后再debug就 <br />      方便多了。<br />             1.首先我解压lucene-2.3.1.zip到任意文件夹，我的是f:/lucene. 此时文件夹里必要文件夹是 f:/lucene/contrib,f:/lucene/src.确保这两个存在后其它的暂不顾及。  <br />           2.在eclipse中新建工程File－new--javaProjec
lucene3.0分词原理和分词系统
solotraveler
07-13 2726
<br />分词原理<br /><br />建立索引和查询的过程中，都是以基本的语素项为单位的。基本的语素项就是通过分词得到。这个过程决定了索引单元金额最终的匹配过程。<br />分词在文本索引的建立过程和用户提交检索过程中都存在。利用相同的分词器，把短语或者句子切分成相同的结果，才能保证检索过程顺利进行。<br />1、英文分词的原理<br />基本的处理流程是：输入文本、词汇分割、词汇过滤（去除停留词）、词干提取（形态还原）、大写转为小写、结果输出。<br />2、中文分词原理<br />中文分词比较复
lucene源码 pdf
最新发布
12-31
索引是指将文本数据分解为若干个文档（Document），然后对每个文档建立一种倒排索引结构。所谓倒排索引，是指通过某个关键词直接找到包含该关键词的文档，而不是通过文档去找关键词。这种倒排索引结构能够提供快速的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值