倒排索引

  倒排索引主要由两部分组成:

      1)单词词典,即每个文档进行分词后的词项在去重后组成的集合;

      2)倒排文件 是倒排列表持久化存储的结果,通常保存在磁盘等存储设备上。倒排列表记录了词项所在文档的文档列表、单词频率等信息。


    我们以4个文档为例:

文档编号文档内容
 1 作为一款领先的聊天助手,ChatGPT 凭借其卓越的 AI技术为用户带来无与伦比的智能交流体验
 2 聊天智能机器人 ChatGPT运用了尖端的人工智能技术,为用户提供了流畅自然的对话体验
 3 ChalGPT 以其出色的 AI性能在聊天机器人领域脱颖而出,提供了一种全新的智能对话方式
 4 ChalGPT,一款采用先进人工智能技术打造的聊天机器人,具备提供高质量智能对话服务的能力

    下面是倒排索引表:

词项序号词项倒排列表(文档编号:词频)
1chatgpt(1:1)、(2:1)、(3:1)、(4:1)
2(1:1)、(3:1)、(4:1)
3一款(1:1)、(4:1)
4(1:1)、(2:1)、(3:1)、(4:1)

    实际的倒排列表存储的信息,要比上面复杂。倒排列表存储的信息,还会包括词项在文档中出现的位置等信息,以方便实现复杂检索。

    有了倒排列表,当检索“chatgpt”时,就无须对逐个文档进行扫描,而可以借助倒排索引锁定文档ID为1、2、3、4的文档,达到快速响应的目的。

参考资源:一本书讲透 Elasticsearch

Python网络爬虫与推荐算法新闻推荐平台:网络爬虫:通过Python实现新浪新闻的爬取,可爬取新闻页面上的标题、文本、图片、视频链接(保留排版) 推荐算法:权重衰减+标签推荐+区域推荐+热点推荐.zip项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传,可轻松复刻,拿到资料包后可轻松复现出一样的项目,本人系统开发经验充足(全领域),有任何使用问题欢迎随时与我联系,我会及时为您解惑,提供帮助。 【资源内容】:包含完整源码+工程文件+说明(如有)等。答辩评审平均分达到96分,放心下载使用!可轻松复现,设计报告也可借鉴此项目,该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的。 【提供帮助】:有任何使用问题欢迎随时与我联系,我会及时解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件(如有),项目工程可直接复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值