![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 70
水的精神
一件事,要么不做,要么做到极致。
展开
-
RAG 效果提升的最后一步—— 微调LLM
如果说,rerank能够让RAG的效果实现百尺竿头更进一步,那么LLM微调应该是RAG效果提升的最后一步。把召回的数据,经过粗排,重排序后,送给模型,由模型最后总结答案。LLM的确已经是RAG的最后一步了。这里还是会遇到一个问题,召回的正确的答案,但是答案藏在比较长的上下文中。例如 top10的数据,又或者是top20的数据中。这非常考验模型的能力。看到一篇论文,非常好,在分享如何微调LLM,来做好这最后一步。原创 2024-07-14 02:04:42 · 261 阅读 · 0 评论 -
使用模型来做召回和排序
文本检索任务可以定义为: 给定一个文档集合,用户输入一个query来表达信息检索需求,借助于一个文本检索系统返回相关文档给用户。日常生活中,我们几乎天天都在用文本检索系统,比如谷歌、百度搜索,淘宝电商搜索,搜索系统已经成为用户获取信息的一个重要入口。对于文本检索任务,抽象出来的核心目标就是怎么去计算用户输入的 query和文档集合中每个doc的文本相似度。原创 2024-05-23 13:27:53 · 938 阅读 · 0 评论 -
QAnything 在mac M2 上纯python环境安装使用体验(避坑指南)
开源的RAG本地知识库检索的有不少。最近比较火热的就是 QAnything 和 RAGflow。其中Qanything 是相对比较早的。并且它是网易开源的,各种都相对更正规一些。安装部署文档也都比较齐全。dify 是开源做工作流的,其中也有RAG的部分。但是做的很粗糙。如果想做自己的本地知识库开发,可以在Qanything上做。我看过QAnything 和 RAGflow dify的源码,也对比了他们的效果,最终评估使用Qanything 打底。做一个全新的RAG搜索。原创 2024-05-09 08:33:39 · 1474 阅读 · 1 评论 -
使用X inference下载部署小模型(qwen1.5)测试效果
我的环境是mac m2 32G ,没办法用GPU。这是X inference的安装教程。这里是mac部署2B的教程。还有测试推理的效果,速度原创 2024-05-03 16:22:03 · 599 阅读 · 0 评论 -
开源的RAG 和工作流技术中值得学习和使用的点
开源RAG和workflow技术中,大家各有特色,个有千秋。这里是我的深度调研的感受总结。原创 2024-05-03 15:48:42 · 959 阅读 · 0 评论 -
开源的 RAG 和 workflow 技术对比调研
我自己就是做RAG工作的,但是还是想关注一下开源的技术做到了什么程度。所以调研了很长时间,也体验了一下。这里写一篇文章来分享一下结果。我用五一的假期时间,来做调研,看代码,做测试,写文章。为大家贡献资料。这里先说一下自己的感受吧:这些开源的技术,还是各有所长的。应该结合融合到一起,才能更好的完成我们的生产需求。但是开源的文档解析最多能做到60%的效果。原创 2024-05-03 15:43:53 · 1765 阅读 · 0 评论 -
使用Xinference 在mac m2 上部署模型 Qwen 7B
23款 mac pro M232G内存注意,花内存比较多一些。参数规模越大,需要的内存越多。我部署了一个7B的qwen就花了16G的内存空间我使用Xinference来部署模型。这里是Xinference的安装文档。原创 2024-05-01 22:18:20 · 942 阅读 · 1 评论 -
Mac M2 本地下载 Xinference
想要在Mac M2 上部署一个本地的模型。看到了这个工具Xorbits Inference(Xinference)是一个性能强大且功能全面的分布式推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。本地部署参考了这两个文档部署文档部署文档。原创 2024-05-01 21:03:36 · 911 阅读 · 1 评论 -
检索增强生成(RAG)应用的构建:LangChain与LlamaIndex的比较与选择
对于我要做RAG应用,我应该使用两者中的哪一个。或者说还是都使用?在人工智能领域,检索增强生成(RAG)应用正变得越来越受欢迎,因为它们能够结合大型语言模型(LLMs)的自然语言处理能力和私有或专有数据源的丰富信息。在构建RAG应用时,开发者面临的一个重要选择是选择合适的工具或框架。本文将探讨两个流行的工具:LangChain和LlamaIndex,并提供决策指南。原创 2024-03-17 13:25:36 · 1990 阅读 · 0 评论 -
如何使用程序调用通义千问
之前分享了,使用程序调用文心一言。但是很快文心一言就要收费了。阿里的提供了暂时免费版的基础模型,效果还算可以。所以再分享一下,如何使用程序来调用通义千问的模型。整体很简单,分三步:导入依赖;获取ApiKey;使用程序调用模型。体感:使用简单,效果还可以,但是速度很慢!原创 2024-03-05 17:02:57 · 597 阅读 · 0 评论 -
如何构建Prompt,帮我生成QA,作为召回率检索的测试集?
最近在做搜索召回率的提升工作。粮草未动兵马先行!在做之前应该先有一把尺子来衡量召回率的好坏。所以应该先构建测试数据集,然后去做标准化测试。有了测试机集以后。再去做搜索优化,才能看出来效果。当然可以选择一些开源的测试集。如果可以的话构建自己场景下的数据集更好一些。还原生产环境的测试数据才是最有用的。既然有了大模型,我选择用模型来给我构建测试数据。(人工标注数据的成本是极高的,使用模型更划算一些。)在这篇文章中,我会分享如何通过写Prompt,来帮我构建数据集。原创 2024-01-11 20:31:13 · 1449 阅读 · 0 评论 -
文心一言API调用,保姆级案例分享
api调用需要先在千帆平台开通API key。这里根据教程中一步一步操作即可开通成功。分享一个调用文心一言API的案例。今天自己用程序去过去文心一言模型中获取结果。如何开通所需要要的 API key 和 Secret key?最后给我返回了一个json,给我json数组,是我想要的结构。这里是调用文心一言的代码。调用文心一言的代码 python。官方给送了20块钱的体验券!根据一段文本内容,生成QA。到这里至少是调通了。原创 2024-01-10 18:13:31 · 3845 阅读 · 1 评论