【AI战略思考3】我如何聚焦于RAG的一个痛点-我的思维链过程拆解

一、先说我的需求和结论

明确目标和细化需求

我需要找到一个痛点，然后不断聚焦和深入研究，最终找到解决或者缓解这个痛点的实际解决方案，从而向HR和主管展现自己的研究能力和潜力。这个痛点需要同时满足以下几个条件：

1. 属于nlp领域
2. 属于RAG技术的应用方向
3. 企业普遍存在，且越是大企业问题越严重
4. 有较大的实用价值和经济效益，企业非常重视
5. 比较迫切需要解决的，有比较强烈的紧迫性，解决后会很爽，类似于一个单身很久的人谈一场双向奔赴的恋爱😂
6. 有一定的难度和研究价值，但是又不能太难，我能在1个月内的时间里找到初步可行的综合解决方案，并做出可以展示的成果

结论

我找到的答案是：

企业内部知识库的动态更新和精准检索

为什么是它？

因为它能满足我上面说的所有需求

1. 属于NLP领域

   • 企业内部知识库通常由非结构化的自然语言数据组成，比如技术文档、产品说明、法律合同、邮件记录等。通过NLP技术对这些文本进行理解、分类、提取和生成相关回答是该问题的核心。

2. 属于RAG技术的应用方向

   • 检索增强生成（RAG）模型结合了信息检索和生成技术，可以在庞大的企业知识库中进行高效检索，返回相关内容，并生成合适的答案。这适用于解决知识库中的信息滞后或不准确的问题，提升回答的精确度和相关性。

3. 企业普遍存在的问题，且大企业尤为严重

   • 大型企业常常面临知识库更新缓慢、文档版本混乱、信息碎片化严重等问题。尤其是跨部门、跨地域的全球性公司，员工在需要获取最新信息时常常被大量的过时或无关文档所困扰，导致决策效率下降。这个问题在大企业中表现得尤为突出，因为他们通常有成千上万条文档，且更新频繁。

4. 有较大的实用价值和经济效益

   • 精准检索和知识更新系统不仅能提高企业的运营效率，还能减少员工在寻找信息时的时间浪费，从而提高整体生产率。更精准、及时的信息可以帮助企业快速响应市场变化，提高决策准确性。特别是在金融、技术、法律等高信息依赖行业，提升检索效率直接关系到经济效益。

5. 迫切需要解决，紧迫性强

   • 企业往往因为信息滞后或不准确造成错误的决策或资源浪费。例如，销售团队可能由于拿到了过时的产品文档而导致失去商业机会，或者技术团队使用了不再适用的标准进行开发。及时解决这一问题，企业会感到如释重负，员工工作效率和信息获取体验会显著提升。

6. 有一定的难度和研究价值，但可在1个月内找到初步可行的解决方案

   • 这个问题具有一定的挑战性，但并不至于太难。通过以下几步，我可以在1个月内找到初步的解决方案，并展示出成果：
     1. 数据收集和预处理：收集并清理企业内部的文档，特别是那些有版本控制需求的内容（如产品说明、技术标准、公司政策等）。
     2. 使用RAG模型进行初步检索增强：利用已有的RAG框架（如Hugging Face等开源工具），根据企业的具体需求调整检索策略，提升生成答案的准确性。
     3. 动态更新机制：设计一个简单的原型系统，实时监测企业新生成的文档，并自动更新知识库内容。
     4. 展示成果：构建一个小型演示系统，展示如何通过检索增强生成来高效获取最新的文档和相关回答。

初步设想的展示方案

我打算做一个类似OpenAI介绍o1的那种短视频demo，向HR和技术主管展示以下几个关键点：

• 展示文档检索与生成的主要流程
• 用户输入问题时，系统可以从最新的企业文档中检索最相关的信息并生成答案。
• 更新文档后，系统能够识别文档版本差异，自动推荐最新版本的文件和解释。
• 简要说明我解决的一些关键难点和方法

在展示中，我会重点突出对时间的节省和信息准确度的提高，让HR和主管直观感受到解决方案的效果和企业实际收益（经济价值）。

总结

总的来说，这个痛点和研究方向有着广泛的企业需求，不仅可以展示我的NLP和RAG技术应用能力，也能够凸显我解决实际问题的研究能力和技术深度。简直不要泰国丸美😂

二、再拆解我的思维链过程

1. 为什么是nlp领域？

20多天前，我对nlp一窍不通，我海投了一些简历试试水，不过由于缺乏AI的学习背景和相关工作经验，以及自己简历的一些硬伤，都失败了。不过我也有一些收获，我看了很多AI岗位的招聘信息，我发现nlp领域是招聘最多的，而且很多都提到了RAG这个词。

于是我就先囫囵吞枣地了解了一下RAG到底是个什么鬼东西😂，详见我的这篇博文：

我用GPT对RAG技术的学习和探索

虽然没有得到面试，但是有好几个HR问了我有没有AI的工作经验或者做过AI项目，我说没有后就没下文了，所以我觉得自己缺的是AI项目经验。但是要做项目需要先确定AI细分领域，所以我又研究了一下如何确定细分领域和第一个项目，详见我的这篇博客：

我如何选择自己的AI细分方向和第一个入门项目

最终选择nlp的原因总结来说：

招聘需求多，也有很多初级岗位，技术难度上切入相对容易，而且项目周期更短，我认为自己快速找到工作的概率更大，而且长期来看发展空间虽然不是最大但也还可以。

还有一个HR说，把我简历给技术主管看了，主管认为我可能缺乏持久力，容易跳槽

OK，那我就坚持写博客，并且努力把这件不起眼的小事做好，来证明自己的持久力和耐心

---

2. 为什么是RAG技术应用方向？

后面在学习了几个AI小项目后，我又研究了下面几个问题，并最终确定了RAG技术应用方向，下面也是我的具体思维链过程。

1. 在OpenAI推出了GPT4o和o1之后，nlp领域还有什么难点和研究热点

我发现如何将外部知识库（如数据库、知识图谱等）更有效地与模型集成，提升模型在推理任务中的表现，是一个研究热点。这与RAG高度相关

2. 作为一个nlp领域的初学者，如何想办法解决这些难点？

我发现最好从实际问题入手，那么有哪些实际问题呢？

3. 在中国的nlp领域的公司实际做的主要事情是什么？有哪些实际的痛点

我发现nlp的应用相当广泛，包括：搜索引擎和信息检索、智能客服和对话系统、推荐系统、机器翻译、金融与法律文本处理、内容审核等。当然痛点也有不少：数据隐私和合规、长尾问题处理、模型可解释性与公平性等。

不过最引起我关注的应用是：知识图谱与智能问答，痛点是：多模态数据集成。而这也与RAG高度相关
为什么？因为我在招聘信息里看到这几个词出现的频率最高😂

4. 最近OpenAI推出了推理能力极强的O1，那么上面这些工作的痛点哪些比较容易被O1解决，哪些比较难被O1解决，为什么？

我发现在高度专业化的垂直领域的文档处理和跨模态数据集成等方面，O1 仍然需要与外部知识库或专业模型结合，才能获得理想的表现。这还是与RAG高度相关

5. 如何选择 NLP 领域的某一个难点问题来增加简历亮点

我发现领域知识增强是一个好的问题和难点，OK，又是你，RAG

6. RAG技术可以用来解决上面哪些痛点？

我发现很多痛点都需要RAG来帮助解决，比如：智能问答和知识整合、专业领域文档处理、知识图谱与信息检索的结合、个性化推荐系统中的信息扩展、搜索引擎的相关性优化。
OK，RAG，既然你这么能干，那就选你吧😂，不过我还是有点担心RAG是否会过时。

7. RAG技术会随着通用大模型的发展而过时吗？

我发现RAG 技术不会随着通用大模型（如 O1）的发展而过时，反而在某些特定场景和需求中仍然是不可替代的解决方案。RAG 的优势在于其 动态检索外部知识、领域适应性、可解释性、个性化能力 以及在 多模态任务中的应用，这些都是通用大模型难以完全覆盖的方面。

8. RAG 技术在实际应用中还有哪些难点和痛点？

我发现虽然该技术已经广泛应用，但是仍然有不少难点和痛点有待解决，比如：知识检索的准确性、知识库的更新与维护等很多问题，就不一一列举了，OK，看来英雄还有不少用武之地。

9. 各个痛点在企业中的优先级和经济效益对比

我发现检索结果的精准度与相关性的优先级很高，直接影响用户体验，经济效益很大，而知识库的更新与维护则在信息快速变化的行业（如金融市场、技术创新、法规变化）中，尤其是大企业中经济效益较高。

总结：通过上面的思考过程，逐渐让自己的目标和需求变得清晰和具体了。从而得出了前面细化需求中的前5条。

3.为什么要在1个月以内？

因为时间是我最宝贵和稀缺的资源，我需要好好利用，而1个月是我觉得比较合理的水平，不仅可以完成难度上相对适中的项目，而且对自己也有不少的挑战性，既能体现自己的研究能力和攻难克艰的能力，又能体现自己高效的执行力和强大的学习力。

而且我认为早日进入企业找到一个合适的团队，而不是自己孤军奋战，是非常重要的事，可以更快的提升自己，毕竟平台、环境和资源对一个人的职业发展和把事做成很重要。

而且兵贵神速，如果拖得太久容易生变。历史上很多战役都是这样，速战速决往往是最好的策略，一鼓作气，再而衰，三而竭。

另外也可以缓解我的经济压力，虽然这不是影响我决策的重点，我更看重科学的决策方法。