- 博客(10)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Lucene 索引文件的生成（二）之doc&&pay&&pos
本文承接索引文件的生成（一），继续介绍剩余的内容。生成索引文件.tim、.tip、.doc、.pos、.pay的流程图图1： 我们继续介绍流程点生成索引文件.doc、.pos、.pay。看这里：https://www.amazingkoala.com.cn/Lucene/Index/2019/1227/122.html...
2019-12-27 17:19:46
139
原创 Lucene 索引文件的生成（一）之doc&&pay&&pos
在执行flush()的过程中，Lucene会将内存中的索引信息生成索引文件，其生成的时机点如下图红色框标注：图1： 图一中的流程是flush()阶段的其中一个流程点，完整的flush()过程可以看系列文章文档提交之flush，索引文件的生成系列文章将会介绍图一中红框标注的每一个流程点，本篇文章先介绍生成索引文件 .tim、.tip、.doc、.pos、.pay流程点。看这里...
2019-12-27 17:18:59
295
原创 Lucene DirectWriter&&DirectReader
阅读本篇文章需要前置内容：BulkOperationPacked，下文中会列出在文章BulkOperationPacked中涉及的代码，但是不会展开介绍。 DirectWriter&&DirectReader两个类用来处理long类型的数据集（数组类型），其中DirectWriter用来在写数据时使用BulkOperationPacked将long类型的数据转换成byte类型...
2019-12-27 17:17:52
111
原创 Lucene 压缩存储之PackedInts（二）
本文承接PackedInts（一），继续介绍剩余的内容。压缩实现 在上一篇文章中，我们介绍了Lucene 7.5.0中PackedInts提供的几种压缩实现，如下所示：表1：数据分布 是否有填充bit 是否单block单值 实现类 一个block 否 是 Direct8 Direct16 Direct32 Direct64...
2019-12-19 14:22:12
169
原创 Lucene 压缩存储之PackedInts（一）
为了能节省空间，Lucene使用PackedInts类对long类型的数据进行压缩存储，基于内存使用率（memory-efficient）跟解压速度（读取速度），提供了多种压缩方法，我们先通过类图预览下这些压缩方法。图1： 图1中MutableImpl类是PackedInts的内部类，其中Packed64SingleBlock是一个抽象类，它的实现如下所示：图2：看这里：...
2019-12-18 16:17:19
323
原创 Lucene 计算对象大小
Lucene通过RamUsageEstimator类提供的方法来粗略的（roughly）估算Java对象在内存中的大小。计算对象大小的主要目的是配合flush策略将内存中的索引信息同步到磁盘，flush策略的概念可以看文章构造IndexWriter对象（二）中关于MaxBufferedDocs、RAMBufferSizeMB的介绍以及文章文档的增删改（中）。对象的计算方式 Lucene...
2019-12-17 13:48:57
681
原创 Lucene 7.5.0 构造IndexWriter对象（十）
本文承接构造IndexWriter对象（九），继续介绍调用IndexWriter的构造函数的流程。调用IndexWriter的构造函数的流程图看这里：https://www.amazingkoala.com.cn/Lucene/Index/2019/1210/116.html...
2019-12-10 15:14:20
83
原创 Lucene 7.5.0 构造IndexWriter对象（九）
本文承接构造IndexWriter对象（八），继续介绍调用IndexWriter的构造函数的流程。调用IndexWriter的构造函数的流程图图1：生成对象IndexFileDeleter 我们紧接上一篇文章，继续介绍剩余的流程点，下面先给出IndexFileDeleter的构造函数流程图：看这里：https://www.amazingkoala.com.cn/L...
2019-12-10 15:13:49
101
原创 Lucene 7.5.0 构造IndexWriter对象（八）
本文承接构造IndexWriter对象（七），继续介绍调用IndexWriter的构造函数的流程。调用IndexWriter的构造函数的流程图图1：生成对象IndexFileDeleter 我们紧接上一篇文章，继续介绍剩余的流程点，下面先给出IndexFileDeleter的构造函数流程图：IndexFileDeleter的构造函数流程图图2：看这...
2019-12-10 15:12:59
118
原创 Lucene 7.5.0 构造IndexWriter对象（七）
本文承接构造IndexWriter对象（五），继续介绍调用IndexWriter的构造函数的流程。调用IndexWriter的构造函数的流程图图1：生成对象BufferedUpdatesStream图2： 介绍该对象会涉及很多在文档提交之flush系列文章中的知识点，故如果没有看过或者不熟悉flush流程的同学可以跳过下面的内容，只需要知道该对象的生成时机就行了。...
2019-12-10 15:10:46
104
Lucene DocValues介绍
2019-04-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人