面试问题记录（RAG方向）

最新推荐文章于 2024-09-18 11:44:25 发布
最新推荐文章于 2024-09-18 11:44:25 发布
阅读量700 收藏 2
点赞数 4
文章标签： nlp 面试 gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gz927cool/article/details/138138684
版权
本文讨论了一个项目中采用的大模型，涉及英语和中文语料的处理，结合了BM25和向量检索技术。重点讲解了实体召回、嵌入模型微调、问答模型调整以及LORA原理的应用。同时提到在处理冗余信息和多样抽取目标时的优化策略，以及对NL2SQL的理解。
摘要由CSDN通过智能技术生成
  1. 简单自我介绍
  2. 项目中使用了什么大模型? 语料是英文多还是中文多?
  3. 项目中使用了哪种检索方法？
    BM25和向量方法如何结合?
    使用BM25使用了什么分词器??
    有没有针对特定实体进行召回??
    还使用了哪些技巧来提升召回的效果??
  4. 向量召回时使用的嵌入模型是什么??
    有没有对用于向量方法召回的模型进行微调??
  5. 有没有对问答模型进行微调?
    使用了什么微调方法?
    采用了什么手段来提升微调效果??
    简要说明LORA的原理??
    了解ptuning或其它的微调方法吗??
  6. 是否使用了Llamalndex?
    没有使用的原因??
  7. 进行 信息抽取 时，文本中冗余信息较多，抽取目标种类也很多，这种情况使用大模型进行抽取有哪些优化思路??
  8. 是否了解过 NL2SQL?
gz927cool
关注
LLM大模型工程入门级知识初探
互联网大厂后端码农，个人IP：无一郎的技术圈，欢迎加入我的知识星球，解锁更多内容
12-23 1120
机缘巧合下自己的接触了大模型相关的研发工作，顺便调研总结一下大模型工程方向可能涉及到的行业热点方向与基础入门知识，还有一些的专业词汇的解释，有时候自己主动探索某个方向是一种乐趣，感兴趣就都可以了解一下。
题解 | #查找入职员工时间排名倒数第三的员工所有信息#
2301_78234743的博客
04-28 1050
都是在深圳的银行开发，交行是总行软开，招银是子公司，五险一金都是顶格。请教各位大佬，第四题这么写是错在哪啊，过了26%。3.29投递，4.4发的测评，4.6做的测评，4.10日线上一面，面完以为g了4.18打电话说看我在。决赛圈了，大佬帮分析一下，本人研究生阶段是搞NLP的，更倾向于NLP。整个阿里系面试体验感最差的一次，面试官不开摄像头让我开，还迟到，一副趾高气扬的语气，而且我投的测开岗。我只有一个项目，苍穹外卖，还没写到小程序，就写了后端，发现自己太菜了，遂转测试方向1.介绍一下你的项。
大模型 RAG 面试篇
fan_fan_feng的专栏
01-19 1927
大模型 RAG面试题 收集一
面试被问RAG开发痛点，万能答法！
ytt0523_com的博客
09-14 1131
检索增强式生成（RAG）是一种使用检索提升语言模型的技术。具体来说，就是在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程。这种技术能极大提升内容的准确性和相关性，并能有效缓解幻觉问题，提高知识更新的速度，并增强内容生成的可追溯性。RAG 无疑是最激动人心的人工智能研究领域之一。但 RAG 也并非完美，用户在使用时也常会遭遇一些「痛点」。
大模型RAG面试篇：难点、痛点、常见面试题汇总
Code1994的博客
08-20 1446
这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。达到L4级别也就意味着你具备了在大多数技术岗位上胜任的能力，想要达到顶尖水平，可能还需要更多的专业技能和实战经验。在面试中，准备这些问题的答案可以帮助展示你对RAG技术的深入理解和解决实际问题的能力。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。
TensorFlow相关组件的安装
AAI666666的博客
01-11 1214
TensorFlow相关组件的安装
面试问题记录（基础&RAG)
gz927cool的博客
04-30 235
算法工程师面试记录20240330，包括python基础\linux基础\RAG工程三个方面
我在大模型应用之RAG方向的探索、实践与思考
京东科技开发者
06-28 1128
大语言模型（LLM）在自然语言处理和自然语言理解方面取得了重大突破。大模型与应用场景的结合有助于可以在降低成本的同时提高效率。在具体场景的落地中，通用领域的大模型缺乏具体的领域知识，需要对其进行微调，这将消耗大量的计算资源。当前，检索增强生成（RAG）作为大语言应用的一种模式，可以将大语言模型强大的理解能力和领域知识相结合，可以提高模型准确性和效率。RAG主要流程分为两步：1. 从知识库中检索出和问题相关的内容；2.将相关的知识拼接到prompt中，让LLM基于相关知识和用户问题进行回答。
攻克大模型面试！RAG基础与应用痛点一网打尽！
最新发布
bagell的博客
09-18 1078
RAG相关理论知识与经验整理。谈到大模型在各垂直领域中的应用，一定离不开RAG，本系列开始分享一些RAG相关使用经验，可以帮助大家在效果不理想的时候找到方向排查或者优化。本系列以医疗领域为例，用面试题的形式讲解RAG相关知识，开始RAG系列的分享~本篇主要是理论知识与经验；后续会结合最新的优化方法给出详细的优化代码，和实践中衍生的思考。下面是本篇的快捷目录。1. RAG思路2. RAG中的prompt模板3. 检索架构设计这里有一张经典的图：具体步骤是：加载文件读取文本文本分割。
基于LangChain-Chatchat实现智能问答系统
2301_78234743的博客
05-06 1138
政务方向，直接推组长，流程推进快，有意可私信，官网可见此岗位要求：尽快入职，HC地点优先北京 ，每周。我真绷不住了，快手4/25面之后泡到现在，实在等不及了打电话去问hr，一问说是已经离职了，并且不知道。一面1、自我介绍2、项目介绍、项目亮点3、盒模型4、实现水平垂直居中5、CSS实现三角形6、JS的数。base 地都是上海，美团是到店下面的本地核心商业，做的应该是基建相关的技术，转正率不知道怎么样。又是面的稀烂的一集两个面试官拷打我的项目，话说这不是一面吗主要拷打在压测这一块，看得出来面试官对这块。
self join, no window function
2301_78234743的博客
04-27 735
今天过了一个上海某厂二面，但是是搞大模型AI方向的，并且语言还是go，本人javaer，询问了在大厂。上午面了富士康菁干班，也是去产线，还被搞心态了下午在搞了一会梯子因为想用gpt之前的挂了，佬们有没有。多面试，多发现自己的不足比如面试官，按照你的简历问，你答不上来，说明你没有准备好自己简历上写的内容比。哥们现在两段大厂实习经历，末流211本，目前暑期0offer，中厂都没有发offer的，，尝试舔一下。面试官：看了你的简历，了解到你有两年半的送外卖经验，可以简单说下平时是怎么送外卖的吗？
大模型面试题快问快答！必考速记！
python1234_的博客
05-16 1961
简单来说，就是需要压缩softmax输入值，以免输入值过大，进入了softmax的饱和区，导致梯度值太小而难以训练。如果不对attention值进行scaling，也可以通过在参数初始化时将方差除以根号d ，同样可以起到预防softmax饱和的效果。1、如果Q和K一样，则矩阵乘积的结果是一个对称矩阵，这样减弱了模型的表达能力。2、如果Q和K一样，乘积结果的对称矩阵中，对角线的值会比较大，导致每个位置过分关注自己。3、使用不同的投影矩阵，参数增多，可以增强模型表达能力。
大模型（LLMs）必知必答系列大全：从基础到进阶-训练微调测评推理部署、强化学习、RAG、思维链等原理以及应用（面试问题持续更新）
丨汀、的博客
03-26 1934
大模型（LLMs）必知必答系列大全：从基础到进阶-训练微调测评推理部署、强化学习、RAG、思维链等原理以及应用（面试问题持续更新）
大模型算法岗面试题系列（七十一）| RAG(检索增强生成)对于大模型来说，有什么好处?
Code1994的博客
09-07 542
RAG能够从大量文档中检索相关信息，然后将这些信息与模型生成的文本结合，从而生成更加丰富和准确的内容。大型语言模型通常受到上下文长度的限制。RAG通过检索相关的外部信息，可以在不增加模型输入长度的前提下，扩展模型可以利用的上下文信息。大模型可能会生成不真实或错误的信息（幻觉）。RAG通过引入真实世界的数据，可以减少这种幻觉现象，提高生成内容的真实性。对于某些查询，可能不需要完全依赖模型的内部知识。RAG可以通过检索现有信息来快速回答，从而提高模型的效率。
程序员面试、算法研究、机器学习、大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦
热门推荐
结构之法 算法之道
01-05 75万+
程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结 作者：July--结构之法算法之道blog之博主。 时间：2010年10月-2018年5月，一直在不断更新中.. 出处：http://blog.csdn.net/v_JULY_v。 说明：本博客中部分文章经过不断修改、优化，已集结出版成书《编程之法：面试和算法心得》。 前言 开博4年有余，...
大模型技术知识点：RAG
h1453586413的博客
06-18 1697
RAG的核心思想是让语言模型在生成回答或文本时能够动态地从外部知识库中检索相关信息。这种方法能够提高模型生成内容的准确性、可靠性和透明度，同时减少“幻觉”（即模型生成看似合理但实际上错误的信息）。
大模型面试题最全总结，没有一道是送分题。。。
2301_78285120的博客
03-19 1771
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂同学、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。今天分享大模型面试相关知识点，持续更新，希望对后续找工作的有所帮助。数据预处理->分块（这一步骤很关键，有时候也决定了模型的效果）->文本向量化->query向量化->向量检索->重排->query+检索内容输入LLM->输出克服遗忘问题提升回答的准确性、权威性、时效性。
太卷了‼️靠大模型面试总结才拿下offer
yXIAOyu_的博客
08-05 852
成功求职并不是一件难事，关键在于你是否做好了充分的准备。通过学习和掌握AI技术的相关知识和技能，了解面试中可能出现的问题和技巧，你就能够在面试中展现出自己的专业素养和实力，赢得面试官的青睐和认可。因此，让我们一起努力，用知识和技能武装自己，迎接AI时代的挑战和机遇吧！
milvus RAG
06-19
抱歉，但关于"Milvus RAG"我没有找到相关的信息。Milvus是一款由阿里巴巴开源的高性能向量数据库，主要用于密集向量（如图像和文本）的存储和检索。RAG（Retrieval-Augmented Generation）通常是指一种结合了信息检索和生成模型的技术，用于提升文本生成的质量，通过检索相关信息来增强生成内容的相关性和准确性。 如果您是询问Milvus是否集成了一种名为RAG的特定功能或者有没有类似的扩展，请提供更详细的信息，这样我可以尝试给出更准确的回答。如果没有直接关联，可能是因为Milvus作为数据库主要关注的是向量数据处理，而不直接涉及自然语言处理的RAG技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值