AI RAG的知识满天飞，为什么你还做不出一个像样的AI助手应用

引言

在过去的一年半里，随着大型语言模型（LLM）的崛起，检索增强生成（RAG）的概念也逐渐进入公众视野。

从微信公众号到各大自媒体，关于RAG的讨论几乎无处不在。然而，尽管这些高科技名词让人眼花缭乱，真正能够落地成为企业级项目的案例却寥寥无几。

这不禁让人产生疑问：RAG真的有用吗？LLM真的可以落地吗？

真的领会到了RAG的精髓了吗

当前，学习AI的热潮中，许多人更倾向于关注理论学习和概念炒作，而忽视了实际操作的重要性。与其天天浏览各种概念的软文，不如亲自投身于一个项目，从头到尾实现一个RAG引擎。

这样做的好处显而易见：

首先，可以深入理解RAG的数据流和处理机制；

其次，可以详细了解不同LLM的特性；

最重要的是，可以亲身体验到，一个优秀的LLM在实际应用中需要关注的不仅仅是其外在的华丽演示，更重要的是其响应速度、准确性和成本效益。

RAG引擎的精髓

在我现在这个Studio里，我们的AI Agent遵循一个原则：切实为企业解决实际问题，提升生产力，让每个企业都能用得起AI。

我们的AI AGENT可以用三个字概括：快、准、省。

我们提出的RAG标准为：

• 响应时间在5秒内；

• 幻觉消除率达到99%；

• 单次会话成本控制在1,000Token以内，带图文的会话则控制在1,400-2,000Token内；

有幸的是我们也看到了业界的相关标准逐步正在往快、准、省方面发展。犹记得我前几篇博文中提到 “企业要实施建议走MAAS化道路”，同时Token收费要便宜，1,000 Token必须控制在1毛2-1行4间。刚写完没2周，整体业界的Token收费开始大规模降价，甚至GPT也降了50%以上，GPT3.5更是不要钱随便次数调了。

这的确是一件好事，也有利于AI Agent市场的落地。

当前RAG类项目落地依旧面临挑战以及如何破局

尽管AI的落地看似光鲜，实际上仍面临着三大挑战。

第一大挑战：技术鸿沟是一个不容忽视的问题

这需要技术人员在市场上进行持续的教育和推广。

第二大挑战：由于LLM/AI领域的新颖性，缺乏可供参考的先例

技术工作者需要不断探索和实验，在实践中顽强摸索前进，每个AI领域的技术工作者要有争做领路人的精神，要敢于做第一个“吃螃蟹”的人。

第三大挑战：如何说服企业采用AI而不是传统的人工方式？

解决之道在于展示AI能够用更少的人力完成更多的工作，而且质量更高、效率更快。

总结

在这个快速发展的时代，我们需要彻底了解一个行业或企业内部的业务流程，这通常依赖于少数技术和业务骨干。因此如何将这些核心知识转化给AI，把这些骨干的全部业务知识哪怕90%可以搬到AI身上这是值得每一个落地者需要去深思的一个问题！这个问题很难但是它绝对是值得去做的一件事，因为只有这样做才能更好的把一家企业的核心竞争力尽大化的保留住并行成“知识传承”，这也是良性的企业运作模式。我们一定需要不断的去考虑如何：让AI成为一个真正可用的协作伙伴，而不仅仅是一个华而不实的展示品，这是我们未来需要解决的关键问题。