Lucene41中的PackedInts

最新推荐文章于 2021-07-24 23:47:48 发布
最新推荐文章于 2021-07-24 23:47:48 发布
阅读量1.3k 收藏
点赞数
分类专栏： Lucene 搜索引擎 索引技术 文章标签： Lucene 搜索引擎 索引技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jollyjumper/article/details/39453341
版权
ackedInts中提供了两种format,一个是Packed,可按long或字节对齐,另一个是PACKED_SINGLE_BLOCK.可以按照不同overheadRatio来选择对应FormatAndBits,调用fastestFormatAndBits就可以。
另外这个文件提供了ecoder,Encoder,Reader,ReaderIterator,Mutable等接口。

实现了Mutable接口的有:Packed64SingleBlock,Packed8ThreeBlocks,Packed16ThreeBlocks,Direct8,Direct16,Direct32,Direct64.

性能评估:

http://blog.jpountz.net/post/25530978824/how-fast-is-bit-packing

jollyjumper
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
lucene中的PackedInts源码解读-1
iteye_14612的博客
07-27 867
之前在看lucene4.x的源码的时候，老是遇见packedInts这个类，当时没有看懂，所以这个周一没事做又看了一下，茅塞顿开，看懂了，记个笔记，装一下B。如果读者认为我的博客中含有错误，请联系我，我的qq是1308567317，以免误人子弟。 顺便说一下，我这里看的是lucene6.6.0的代码。 之前阿帅写个关于博客是写PackedInts，不过他仅仅写了PackedInts的思路和...
Lucene倒排索引简述 之倒排表
Lucene/Solr解密
10-09 7106
文章目录前言Postings编码VIntBlockPackedBlockPostings文件结构说明Frequencies And Skip Data(.doc文件)TermFreqs -- FrequenciesMulti-level SkipList -- SkipDataPostitions(.pos文件)Payloads and Offsets(.pay文件)总结 前言 上一篇《Lucen...
Lucene源代码学习之 PackedInts
weixin_34150224的博客
07-28 195
    Java提供了四种类型来存储一个整型：Byte,short,int,long。但是如果整数的范围在[0,100000],那么只需要17bits就足够存储了，因为2^17=131072。但是，你不能够选择short来存储，因为short存储[65536,100000]之间的数会溢出。如果你用int来存储，那么每个数至少要浪费15bits的空间，大约47%的内存空间。    Lucene/So...
lucene中的PackedInts源码解读(3)-PACKED格式
iteye_14612的博客
07-28 510
继续回到最开始的获得mutable的代码那里去 public static Mutable getMutable(int valueCount, int bitsPerValue, PackedInts.Format format) { assert valueCount >= 0; switch (format) { case PACKED_SI...
lucene中的PackedInts源码解读(2)-Packed64SingleBlock
iteye_14612的博客
07-27 496
紧接上一篇文章，介绍一下Packed64SingleBlock.create方法。 public static Packed64SingleBlock create(int valueCount, int bitsPerValue) { switch (bitsPerValue) {//这个方法里面会根据bitPerValue来查看使用哪一个类，我们看看前几个吧。 ...
lucene工具包packed概述
gs_albb的博客
07-24 418
目录包类结构 lucene 中org.apache.lucene.util.packed包主要提供了高效压缩int(或者long)数组和解压的方法，以便压缩索引文件大小，以及快速读取索引文件内容。 包类结构
lucene4.5源码分析系列：lucene默认索引的文件格式-总述
笨狐狸
10-23 7937
学习lucene索引文件格式的目的是通过对lucene数据结构的理解，从而为lucene索引实现打下基础   索引文件格式在lucene中分为复合索引以及非复合索引。区别是，非复合索引将各种索引文件单独存放，每一种索引文件有自己的用途，相对清晰，问题是每个索引会包含大量的文件，尤其在与其他程序共用时可能达到操作系统对最大打开文件数量的限制；复合索引则是将非复合索引的所有文件合并为一个文件，这样一
Lucene源码分析 - 倒排索引之索引表
RovisuKi的博客
03-14 1171
概要 前文已经介绍过什么是倒排索引了，本文将对倒排索引的结构深入进行理解，见下图 整个倒排索引其实分为两部分，左边是Term Dictionary，右边是Postings List，例如对以下内容建立倒排索引，结构较为贴近HashMap>，可类比设想Map的key为Term，value为Postings ...
Lucene 压缩存储之PackedInts（一）
q364367207的专栏
12-18 321
为了能节省空间，Lucene使用PackedInts类对long类型的数据进行压缩存储，基于内存使用率（memory-efficient）跟解压速度（读取速度），提供了多种压缩方法，我们先通过类图预览下这些压缩方法。 图1：   图1中MutableImpl类是PackedInts的内部类，其中Packed64SingleBlock是一个抽象类，它的实现如下所示： 图2： 看这里：...
Lucene 压缩存储之PackedInts（二）
q364367207的专栏
12-19 168
本文承接PackedInts（一），继续介绍剩余的内容。 压缩实现   在上一篇文章中，我们介绍了Lucene 7.5.0中PackedInts提供的几种压缩实现，如下所示： 表1： 数据分布 是否有填充bit 是否单block单值 实现类 一个block 否 是 Direct8 Direct16 Direct32 Direct64...
Lucene41PostingWriter源码分析
jollyjumper的专栏
06-15 1468
原来看lucene4.0的posting格式(http://blog.csdn.net/jollyjumper/article/details/30017581),发现这还是比较简单的VInt格式，据说VInt压缩解压都不错(medium)，但解压时分支太多打乱CPU流水线因而不够高效,流行的索引压缩有很多,for,simple9,simple16,PForDelta是比较流行的一种，发现luce
PackBits算法
Gaoy9303的博客
05-31 2423
packbits算法
Lucene笔记41-Lucene在留言项目中的增加和删除索引功能
王劭阳的博客
11-21 161
因为要做近实时搜索，所以一些对索引的add，delete，update操作，需要同步到数据库。 项目代码请见百度云盘：链接: https://pan.baidu.com/s/1TTKDv3TJkTiUZHF0yXmeug 提取码: ys36。...
结构对齐--__packed与#pragma pack
嵌入式技术在路上
11-05 7295
Arm结构体gcc内存边界对齐问题  这段时间移植公司的linux i386程序到Arm linux平台，本以为是件工作量很小的事情，以为只要改几个驱动程序就OK了，没想到在应用程序这一块卡了很长时间。其中最烦的事情就莫过于结构体内存边界对齐了。搞了这么久，终于终结了一些小经验。 默认情况下，在32位cpu里，gcc对于结构体的对齐方式是按照四个字节来对齐的。看以下结构体
最新版本Lucene 4.2.1入门教程
DavenCheung
04-26 809
最新版本Lucene 4.2.1入门教程
空间索引技术(Spatial Index)
jollyjumper的专栏
01-20 4873
Lucene(contrib包)和mongodb中提供了一种空间索引,实际上就是对经纬度二维坐标进行编码之后仍使用trie树索引,对于检索一个点附近多少距离(比如5公里)之内的点,不需要遍历所有文档,只需要找grid点离该位置grid点5公里以内的所有文档就可以了.
朴素贝叶斯经典案例:语言识别(language detection)
jollyjumper的专栏
01-22 4766
我对语言识别的问题一直很感兴趣,记得10年做全网爬虫时同事写了一个简单的网页语言检测,比较简单,只是判断unicode code point是否有足够数量落在中文的code point上,连基本的html标签都没有去除,当时也没有测试效果,很可能会把日本,韩文网页也当做中文页面了. 最近学习solr/lucene,里面就带有language detection功能,可以使用两个库,一个是tika
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值