手把手带你本地构建自己的RAG模型

        对于大模型而言，为了增强模型在特定领域的性能，常见的做法有基于rag和finetune两种模式，当数据量较小时，一般采用前者，这样能保证模型的效果且成本小。而finetune的方式也有很多，比如sft，lora等。下面对第一种方式进行如下总结：

（1）前期准备

       本文主要采用的技术框架是langchain+milvus+ollama，那么首先这几种工具得提前安装配置好。至于怎么安装配置这里不做过多赘述，前面博客和网上资料很多。

###拉取模型
ollama pull qwen2.5:1.5b


###安装基本需要的库
pip install langchain pypdf pymilvus

base大模型采用的是qwen2.5:1.5b，如果觉得设备支持可以切换其他模型。下面示例测试采用的是随机生成的一个关于“张三”的pdf文档格式，可以随意替换。

标题：《孤崖遗风》

在古老的华夏大陆，有一个被群山环抱的小村庄，名叫青松村。村子里住着一个名叫张三的少年，他无父无母，自小与爷爷相依为命。张三的爷爷是个慈祥的老人，以采药为生，对张三呵护备至，教他做人的道理和一些基本的草药知识。

张三虽然出身贫寒，却生性善