本文主要记载学习过程中接触到的各种知识点,主要是转载别人的文章+GPT
- 倒排索引: 在信息检索系统,快速查找包含某个词的文档集合。可参考:【AI知识点】倒排索引(Inverted Index)
- TF-IDF: 通过评估一个词在文档中的重要性来帮助判断文档与特定查询的相关性 。可参考:【AI知识点】词频-逆文档频率(TF-IDF)
- BM25: 是一种信息检索中常用的评分函数,通过计算查询词在文档中的重要性来判断文档与查询的相关性。相比TF-IDF,BM25还引入了文档长度的归一化,提高检索的准确性。
- N-gram模型:一种统计语言模型,用于根据前面 (N-1) 个词预测当前词。可参考:【AI知识点】N-gram模型