Llamaindex RAG实践
- 任务要求:基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前 InternLM2-Chat-1.8B 模型不会回答,借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力,截图保存。
1.根据提供的数据创建新的虚拟环境,同时安装对应的基础依赖 python 虚拟环境。
2.安装 Llamaindex和相关的包。
3.挑选开源词向量模型Sentence Transformer,然后在虚拟环境之中下载Sentence Transformer 模型。
4.选择不同的第三方库,然后下载NLTK 相关资源。
5.调用LlamaIndex HuggingFaceLLM,然后运行llamaindex_internlm.py,python文件,随后得到对应模型的输出。
6.使用LlamaIndex RAG,安装LlamaIndex
词嵌入向量依赖,随后运行llamaindex_RAG.py文件,得到对应模型经过RAG技术后的输出答案。