信息检索与数据挖掘｜（四）索引构建

已于 2023-10-17 11:20:56 修改
阅读量1.6k 收藏 6
点赞数 5
分类专栏： 右一的电子笔记合集 文章标签： 数据挖掘 信息检索 索引构建
于 2023-10-17 11:19:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63398413/article/details/133377350
版权
本文介绍了信息检索中大规模数据的索引构建方法，包括基于块的排序索引（BSBI）和内存式单遍扫描索引（SPIMI）算法。BSBI通过分块、排序和合并实现，而SPIMI无需排序，更节省内存，两者都在内存限制下处理大量词项-文档ID对。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

📚硬件基础

📚基于块的排序索引方法

🐇BSBI算法(blocked sort-based indexing)

📚内存式单遍扫描索引构建方法

🐇SPIMI算法(single-pass in-memory indexing)

📚分布式索引构建方法

📚硬件基础

  • 访问内存数据比访问磁盘数据快得多。
  • 进行磁盘读写时，磁头移到数据所在的磁道需要一段时间，该时间称为寻道时间。寻道期间并不进行数据的传输。
  • 操作系统往往以数据块为单位进行读写。因此，从磁盘读取一个字节和读取一个数据块所耗费的时间可能一样多。也就是说，将一大块数据从磁盘传输到内存比传输许多小块要快。
  • IR系统的服务器往往有数GB甚至数十GB的内存，其可用的磁盘空间大小一般比内存大小要高几个数量级。

📚基于块的排序索引方法

了解本专栏 订阅专栏 解锁全文
创建索引：大规模数据处理中的数据索引技术
NoerrorCode的博客
08-19 298
B树索引适用于磁盘存储的数据结构，它通过在树的每个节点中存储多个关键字和对应的指针，从而减少磁盘IO操作次数，提高查询效率。本文介绍了数据索引的概念和常见的索引方法，其中包括B树索引、哈希索引和全文索引。哈希索引：哈希索引使用哈希函数将索引键映射到一个唯一的索引地址，通过直接计算索引地址来快速定位数据。本文将介绍数据索引的基本概念和常见的索引方法，并提供相应的源代码示例。这是一个简化的B树索引实现，其中BTreeNode类表示B树的节点，BTree类表示B树的结构。三、示例代码：B树索引的实现。
倒排索引构建算法SPIMI（已实现，修订版）
热门推荐
菜根
07-04 1万+
信息检索导论中提到的倒排索引构建方法：                                 内存式单遍扫描索引构建方法（SPIMI : Single-pass in-memeory indexing）：     思想：将一个文档集分割成几个大小相等的部分，参考标准就是分成的每个块可以一次性的装入内存                 将处理每个块产生的词典写入磁盘，对于下一个块则重
现代信息检索——索引构建
白水的博客
09-20 1880
1. 索引 建立倒排索引的过程称为索引构建，负责构建索引的算法称为索引器。操作系统往往以数据块为单位对数据进行读写，因此从磁盘读取一个字节和读一个数据块所耗费的时间可能一样多。采用一种高效的解压缩算法对数据进行压缩，然后读取磁盘上的压缩数据，再进行解压，这个过程所花的时间往往会比直接读取原始数据的时间少。 下文涉及到是3个名称：倒排表、词典、索引均是指倒排表的不同形式。 1. BSBI算法 BSBI(Blocked sort-based Indexing，基于块的排序索引方法)的基本思想是：收集每一个数据块
倒排索引构建算法BSBI和SPIMI
走在前往架构师的路上
04-05 6726
参考文献： http://www.cnblogs.com/fly1988happy/archive/2012/04/01/2429000.html http://blog.csdn.net/v_july_v/article/details/7109500 我的数据挖掘算法：https://github.com/linyiqun/DataMiningAlgorithm 我的算法库：h
海量数据处理之倒排索引
weixin_30563319的博客
08-14 470
前言：本文是对博文http://blog.csdn.net/v_july_v/article/details/7085669的总结和引用 一，什么是倒排索引 问题描述：文档检索系统，查询那些文件包含了某单词，比如常见的学术论文的关键字搜索。 基本原理及要点：为何叫倒排索引？一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。 　以英文为例，下面是要被索引的...
BSBI与索引压缩
jianglingbixin的博客
11-07 2266
目录布尔查询之BSBI与索引压缩代码描述：数据集与代码数据集IdMapInvertedIndexInvertedIndexWriterInvertedIndexIteratorInvertedIndexMapperBSBIIndexsorted_intersectCompressedPostings总结 布尔查询之BSBI与索引压缩 使用斯坦福大学CS 276 / LING 286: Information Retrieval and Web Search课程的代码框架来实现。 代码描述： 对文档块逐个
indexingMod:该软件包使用SPIMI算法实现了信息检索系统的索引组件
03-20
indexingMod 该软件包使用SPIMI算法实现了信息检索系统的索引组件。 作者：Bilal Ansari @ Ye Thi Ha ==========说明============= 此python程序（indexingMod）使用SPIMI算法实现信息检索系统的索引组件。 输入索引程序： 包含文本文件的数据集目录的路径。 （例如“ C：\ Dataset”） SPMI算法的块大小。 （例如50000） 索引程序的输出： 包含反向索引的文本文件，即“ out_SPIMI_Output.txt”。该文件与输入数据集输出在同一目录中。 ==========环境设置============= 从GitHub下载此索引包（indexingMod）（作为zip文件轻松下载）。将其保存并解压缩到计算机的首选目录中（例如“ C：\ Test \ indexingMod”）。注意：数据包中的示
spimi算法的c++实现倒排索引器并gamma编码压缩
01-10
spimi算法实现的倒排索引的构建，并且对倒排索引进行了Gamma编码压缩，对词典进行了单一字符串压缩，分别写入了二进制的倒排索引文件和词典文件
mysql spi_倒排索引构建算法BSBI和SPIMI
weixin_35117981的博客
01-27 437
算法介绍 在信息搜索领域，构建索引一直是是一种非常有效的方式，但是当搜索引擎面对的是海量数据的时候，你如果要从茫茫人海的数据中去找出数据，显然这不是一个很好的办法。于是倒排索引这个概念就被提了出来。再说倒排索引概念之前，先要理解一下，一般的算法介绍在信息搜索领域，构建索引一直是是一种非常有效的方式，但是当搜索引擎面对的是海量数据的时候，你如果要从茫茫人海的数据中去找出数据，显然这不是一个很好的办法...
信息检索导论——四、索引构建
u013952285的博客
07-07 2674
1、硬件基础 2、基于块的排序索引方法 3、内存式单遍扫描索引构建算法 4、分布式索引构建 5、动态索引构建 6、安全性和排序式检索中的索引问题
BSBI倒排索引算法
10-29
python3.6实现中文语料文本的BSBI算法（倒排索引）索引程序实现。包括中文文本分词，停用词表。
C语言实现的倒排索引算法(含全部源码)
06-19
C语言实现的倒排索引算法(含全部源码)
信息检索导论-读书笔记(1)-信息检索导论基础知识
serryuer的博客
05-04 2089
目录信息检索导论-读书笔记(1)-信息检索导论基础知识0. 本文概述1. 倒排索引和布尔检索1.1 倒排索引的构建1.2. 布尔查询的处理1.3 基本布尔操作的扩展以及有序检索2 词项词典及倒排记录表2.1 词项集合的确定2.2 基于跳表的倒排记录表快速合并算法2.3 含位置信息的倒排记录表和短语查询3. 词典及容错式检索3.1 通配符查询3.2 拼写校正4. 索引构建4.1 基于块的排序索引构建...
算法博客索引
gexiaobaoHelloWorld的专栏
11-04 1047
http://www.ruanyifeng.com/blog/2013/05/Knuth%E2%80%93Morris%E2%80%93Pratt_algorithm.html
信息检索导论读书笔记（四）：索引构建
djl806943371的博客
03-25 868
建立倒排索引的过程称为索引构建，负责构建索引的程序或计算机称为索引器。操作系统往往以数据块为单位进行读写，因此从磁盘读取一个字节和读一个数据块所耗费的时间可能一样多。采用一种高效的解压缩算法然后读磁盘压缩数据再解压所花的时间往往会比直接读取为压缩数据的时间少。 基于块的排序索引方法（blocked sort-based indexing）（BSBI）： 对于很多大型语料...
信息检索——索引构建
notqq555的博客
11-07 1543
索引构建 本章内容： 硬件基础 语料库 大规模倒排索引构建 基于块的索引构建BSBI 内存式单遍扫描索引构建SPIMI 分布式索引MapReduce 动态索引 目录 索引构建 硬件基础 语料库 大规模倒排索引构建 基于块的排序索引BSBI 内存式单遍扫描索引SPIMI 分布式索引MapReduce 动态索引 索引构建：建立倒排索引的过程index construction 索引器：构建...
SPI的算法
Royi的博客
07-09 2761
1. 取中并有排序：nPr (n中取出r个并排序)  nPr = n*(n-1)*(n-2)            ----------------- r次 例：5个取3个排序： nPr=5*4*3=60        -------                                                   3次 2. 取出无排序：nCr (n中取出
倒排索引原理和实现
weixin_34367257的博客
02-21 1578
关于倒排索引 搜索引擎通常检索的场景是：给定几个关键词，找出包含关键词的文档。怎么快速找到包含某个关键词的文档就成为搜索的关键。这里我们借助单词——文档矩阵模型，通过这个模型我们可以很方便知道某篇文档包含哪些关键词，某个关键词被哪些文档所包含。单词-文档矩阵的具体数据结构可以是倒排索引、签名文件、后缀树等。 倒排索引源于实际应用中需要根据属性的值来查找记录，lucene是基于倒排索引实现的。这...
搜索引擎-倒排索引基础知识
云计算?
09-11 814
搜索引擎的索引 1.单词——文档矩阵 单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。 图3-1 单词-文档矩阵 从纵向即文档这个维度来看，每列代表文档包含了哪些单词，比如文档1包含了词汇1和词汇4，而不包含其它单词。从横...
山东大学信息检索与数据挖掘PPT课程资料
资源摘要信息:"本节课程是山东大学提供的关于信息检索与数据挖掘的PPT演示文档。信息检索是一个涉及存储、检索和组织信息的系统的过程，以便用户能够找到他们需要的信息。数据挖掘则是从大量数据中提取或‘挖掘’...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

啦啦右一

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值