LLM-RAG相关常见面试题

【文言】

于 2024-10-10 21:37:41 发布

阅读量434

点赞数 15

文章标签：人工智能 LLM

本文链接：https://blog.csdn.net/weixin_39471848/article/details/142832945

版权

#############【持续更新】##############

6. 如何评价RAG项目效果的好坏

7. RAG的检索阶段，常见的向量检索模型有哪些？

8. 针对通用的RAG，你觉得还有哪些改进点？

9. 什么是LangChain

10. LangChain的常用模块有哪些？

#############【持续更新】##############

6. 如何评价RAG项目效果的好坏

针对检索环节的评估：

MRR 平均倒排率：查询（或推荐请求）的排名倒数
- 结果列表中，第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和，再求平均。
  
  参考：MRR-推荐算法评价指标
Hits Rate 命中率：前k项中，包含正确信息的项的数目占比
NDCG
- DCG的两个思想：
  
  1、高关联度的结果比一般关联度的结果更影响最终的指标得分；
  
  2、有高关联度的结果出现在更靠前的位置的时候，指标会越高；
  
  参考：搜索评价指标——NDCG

针对生成环节的评估：

非量化：完整性、正确性、相关性
量化：Rouge-L（ROUGE基于摘要中n元词(n-gram)的共现信息来评价摘要，是一种面向n元词召回率的评价方法。基本思想为由多个专家分别生成人工摘要，构成标准摘要集，将系统生成的自动摘要与人工生成的标准摘要相对比，通过统计二者之间重叠的基本单元(n元语法、词序列和词对)的数目，来评价摘要的质量。）

7. RAG的检索阶段，常见的向量检索模型有哪些？

ANN算法

乘积向量
暴力搜索
hnswlib（将节点划分成不同层级，贪婪地遍历来自上层的元素，直到达到局部最小值，然后切换到下一层，以上一层中的局部最小值作为新元素重新开始遍历，直到遍历完最低一层。）

KD树

8. 针对通用的RAG，你觉得还有哪些改进点？

9. 什么是LangChain

LangChain为大型语言模型提供了一种全新的搭建和集成方式，通过这个强大的框架，我们可以将复杂的技术任务简化，让创意和创新更加易于实现。

有点类似于神经网络开发与tensorflow/pytorch之间的关系。

10. LangChain的常用模块有哪些？

Model I/O:
- Prompts 提示词
- Language Models 大语言模型
- Output Parsers 结构化输出的处理器
**Data Connection:**主要是在构建一些外部的知识库存取在某个地方，再对这些数据进行处理，提取和相关的搜索等。
- Vector Stores 向量存储
- Document Loaders 文档加载器
- Document Transformers/Splitters 文档转换/分割器
- Document Retrievers 文档检索器
Memory：给对话形式的大模型存会话历史记录，一方面提供历史消息，另一方面可以将历史消息结合 prompt 提供一个更长的上下文环境灌入大模型
Chains：用以串联 Model/IO, Data Connection, Memory ，上述很多模块都是可以单独使用的，但是串联起来之后，能形成一套解决方案，而不是单一的功能点。
Agents：智能体
- Executors(Chains) 执行体
- Tools 将新的数据，通过单独的函数，或者函数集的方式，喂给大语言模型
Callbacks：LangChains 提供了一套回调体系。上述每个模块，都可以将数据流入到 Callbacks 中，比较常见的就是做日志的记录，调用链路的追踪。