PForDelta索引压缩算法和CPU流水线的关系

最新推荐文章于 2024-09-12 11:03:37 发布
最新推荐文章于 2024-09-12 11:03:37 发布
阅读量8.8k 收藏 11
点赞数 1
文章标签： 算法 exception 存储 搜索引擎 2010 文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pennyliang/article/details/5905691
版权
本文深入探讨了PForDelta压缩算法在搜索引擎索引中的应用，重点在于解压速度和CPU流水线的关系。通过举例展示了如何优化解码过程，以提升代码执行效率。文中提供了一个简化版的实现，并提到了参考资料。
摘要由CSDN通过智能技术生成

看到此前的博客曾经承诺详细把PForDelta做详细说明，今天花了点时间，写下来，压缩部分没有展开，因为对于搜索引擎来说，解压的速度才是关键，就其解压速度和CPU流水线的关系，在本文做进一步的深入讨论。

首先来认识一下PForDelta算法。在压缩过程中，文档间距(gap)越小，压缩的效果越好，有研究表明，在索引压缩的过程中gap = 1的情况大约10%。而pfordelta算法对小gap的情况，特别有优势。

假定一个索引块为8个gap，80%的情况下gap值小于32，小于32的值均可以用一个b = 5bit的数来表示。下面，建立这样一个结构：8*b-bit的常规部分，看作是一个位数组，每个元素占b-bit定长空间，余下的为异常部分，看作是一个整形数组，每个元素占4字节定长空间。假定有这样一个doc

最低0.47元/天 解锁文章
pennyliang
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
二分查找算法和索引查找算法的实现
09-17
二分查找算法和索引查找算法是两种在计算机科学中广泛应用的高效搜索策略，尤其在处理大规模有序数据时。在本篇文章中，我们将深入探讨这两种算法的原理、实现及应用场景。 首先，我们来讨论二分查找算法。二分查找...
索引压缩算法New PForDelta简介以及使用SIMD技术的优化
weixin_33943347的博客
03-23 573
written by 普队 New PForDelta算法介绍 倒排索引的数据包括docid, term frequency, term position等，往往会占用很大的磁盘空间，需要进行压缩。压缩算法需要考虑两点：压缩效果和解压缩效率。一般来说，提升解压缩效率，减少用户查询的响应时间更加重要。PForDelta算法以及它的改进版本New PForD...
PForDelta索引压缩算法的实现
pennyliang的专栏
11-30 9305
前日一个朋友给我发来了一个索引压缩算法，写得非常漂亮而且简洁，压缩比和解压性能方面大大超过目前已知的一些字节对齐的算法和Pfordelta这样的非字节对齐的算法，让人叹为观止，这是我看到的最好的压缩算法，他将会以论文的形式发表，相信必将震惊世界，我之前也写了很多Pfordelta的博客，大家对这个算法的具体实现很好奇，有几个难点，一个是bit pack和unpack，一个是关于exception的
倒排索引压缩：改进的PForDelta算法
weixin_30566149的博客
07-17 141
由于倒排索引文件往往占用巨大的磁盘空间，我们自然想到对数据进行压缩。同时，引进压缩算法后，使得磁盘占用减少，操作系统在query processing过程中磁盘读取效率也能提升。另外，压缩算法不仅要考虑压缩效果，还要照顾到query processing过程的解压缩效率。 总的来说，好的索引压缩算法需要最大化两个方面： 1、减少磁盘资源占用 2、加...
Lucene 4.X 倒排索引原理与实现: (2) 倒排表的格式设计
diebiaosang4496的博客
08-29 337
1. 定长编码 最容易想到的方式就是常用的普通二进制编码，每个数值占用的长度相同，都占用最大的数值所占用的位数，如图所示。 这里有一个文档ID列表，254,507,756,1007，如果按照二进制定长编码，需要按照最大值1007所占用的位数10位进行编码，每个数字都占用10位。 和词典的格式设计中顺序列表方式遇到的问题一样，首先的问题就是空间的浪费，本来254这个数值8位...
Lucene中的倒排链磁盘存储 （PForDelta）
chuanyangwang的专栏
11-21 623
参考文档 http://paperhub.s3.amazonaws.com/7558905a56f370848a04fa349dd8bb9d.pdfhttp://paperhub.s3.amazonaws.com/7558905a56f370848a04fa349dd8bb9d.pdf倒排索引PForDelta压缩算法——基本假设和霍夫曼压缩同 - bonelee - 博客园https://www.cnblogs.com/bonelee/p/6882088.html倒排索引压缩：改............
大数据位图索引压缩算法研究
03-19
基于分段，分块，合并压缩和近乎相同（NI）功能的差异，我们对最新的位图索引压缩算法进行了彻底的分类。我们还提出了一些新的位图索引编码算法，例如SECOMPAX，ICX，MASC和PLWAH +，并给出了其编码算法的状态图。...
基于二级索引结构的图压缩算法
01-14
面对图数据管理中查询耗时高和空间占比大的难题，提出一种图数据二级索引压缩算法——GComIdx。该算法利用有序的键值（Key-Value）结构将相关节点和边尽可能地以相邻的方式存储，并为高效的属性查询和邻居查询分别...
PForDelta的介绍论文
weixin_34416754的博客
06-23 199
ttp://paperhub.s3.amazonaws.com/7558905a56f370848a04fa349dd8bb9d.pdf FOR(Frame-Of-Reference),PFor(Patched Frame-Of-Referene),cpu优化的guide line: 1.降低control hazard,这个影响最大,cpu带分支预測功能在条件測试之前就先走,...
TurboPFor-Integer-Compression：最快的整数压缩
02-03
TurboPFor：最快的整数压缩 TurboPFor：“整数压缩”的新同义词 :NEW_button: （2019.11）现在所有功能都可用于64位ARMv8 NEON和Power9 Altivec 100％C（C ++标头），就像memcpy一样简单。 操作系统：Linux amd64，arm64，Power9，MacOs :thumbs_up: Java Critical Natives / JNI。 访问TurboPFor incl。 SIMD / AVX2！ 从Java调用与从C调用一样快 :sparkles: 全范围8/16/32/64位标量+ 16/32/64位SIMD功能 没有其他“整数压缩”可以更快地压缩/解压缩 :sparkles: 直接访问，集成的（SIMD / AVX2）FOR / delta / Delta的Delta /之字形，用于排序/未排序的数组 16位+ 64位SIMD集成功能 For / PFor / PForDelta 带有直接访问+ SIMD / AVX2的新型TurboPFor （PFor / PForDelta）方案。 + RL
倒排索引PForDelta压缩算法——基本假设和霍夫曼压缩同
djph26741的博客
05-20 256
PForDelta算法 PForDelta算法最早由Heman在2005年提出，它允许同时对整个chunk数据（例128个数）进行压缩处理。基础思想是对于一个chunk的数列（例128个），认为其中占多数的x%数据（例90%）占用较小空间，而剩余的少数1-x%（例10%）才是导致数字存储空间过大的异常值。因此，对x%的小数据统一使用较少的b个bit存储，剩下的1-x%数据单独存储。 ...
Lucene41PostingWriter源码分析
jollyjumper的专栏
06-15 1468
原来看lucene4.0的posting格式(http://blog.csdn.net/jollyjumper/article/details/30017581),发现这还是比较简单的VInt格式，据说VInt压缩解压都不错(medium)，但解压时分支太多打乱CPU流水线因而不够高效,流行的索引压缩有很多,for,simple9,simple16,PForDelta是比较流行的一种，发现luce
你的for循环真的高效吗——优化for循环第二章
yzd
06-01 116
我始终相信，人类最伟大的发明就是汽车和计算机，对于一部汽车，我们如果不经过专业的了解汽车内部结构的工程师调试，就算你是保时捷，也达不到理想的速度。对于计算机来说，我始终觉得，我们很多人只是明白程序的写法，例如一个程序： #include <stdio.h> char *hello = "hello"; char *__ = ","; int main() { char *...
这就是搜索引擎核心技术详解@学习笔记
yijiyong100的专栏
10-05 5161
对应文章的下载地址： http://download.csdn.net/detail/yijiyong100/6356227 背  景 关于本篇学习笔记，只是把书中的一些概念进行了归纳，同时把个人的一些认知和看法写了下来，方便日后个人翻阅。本篇文章中作者提到了一个概念：强调原理不纠结细节，本人非常赞同，如果是在计算机相关领域达到了一定时间的技术知识、框架等广度和深度的积累，在
dp算法练习【7】
MADAO的博客
09-08 1292
给你一个按排序的整数数组nums，返回组成的新数组，要求也按排序。平方后，数组变为 [16,1,0,9,100]排序后，数组变为 [0,1,9,16,100]非常简单，思路平方后排序。优化：插入法。
【Hot100】LeetCode—64. 最小路径和
最新发布
weixin_44382896的博客
09-12 265
64. 最小路径和。
变长编码压缩算法：提升全文检索索引效率
这篇论文的研究成果为全文检索系统的优化提供了一个新的视角，特别是在大数据环境下，如何通过索引压缩和内存缓存策略来提高系统的整体性能。这不仅有助于解决存储空间问题，还能提升用户体验，对于信息检索技术的...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值