基础-4-InternLM + LlamaIndex RAG 实践

创建环境:

检查环境是否成功,check成功:

安装相关基础依赖 python 虚拟环境:

安装python 依赖包:

安装 Llamaindex和相关的包:

下载Sentence Transformer 模型:

下载完成:

下载 NLTK 相关资源,解压缩完成:

创建llmaindex_internlm.py文件:

执行:发现输出内容存在明显的错误。

LlamaIndex RAG:

编写具体的.md文件:

创建RAG文件:

再次执行:结果显示内容比之前的更加符合实际内容。

 LlamaIndex web

首先,需要我们进行安装:

编写app.py文件:

运行:

在打开Local URL之前,进行power shell命令行的操作:(替换8501和自己的开发机号码)

此时点击链接,即可打开图形化界面:

进行问答操作:可以看到更符合实际内容的回答。

【拓展实现--对自定义问题的优化回答】

这里仿照前面的案例操作,具体给出修改部分的内容和执行操作:

执行以下代码,提问“PPP是什么?”

cd ~/llamaindex_demo
touch llamaindex_PPP.py

运行:

conda activate llamaindex
cd ~/llamaindex_demo/
python llamaindex_PPP.py

执行结果:

可以看出回答有问题,需要进行调整。

添加PPP.md文件:

执行:这里要对模型路径进行修改确认。

cd ~/llamaindex_demo
touch llamaindex_PPPfix.py

执行:

conda activate llamaindex
cd ~/llamaindex_demo/
python llamaindex_PPPfix.py

可以看到,此时的回答结果比之前的更符合实际需要的内容。

(至于出现的后面的多次问答显示内容,应当是进一步研究和优化的部分,此处不过多赘述)

根据提供的引用内容,可以得知prompt+RAG的流程如下: 1. 首先,使用Retriever部分在知识库中检索出top-k个匹配的文档zi。 2. 然后,将query和k个文档拼接起来作为QA的prompt,送入seq2seq模型。 3. seq2seq模型生成回复y。 4. 如果需要进行Re-rank,可以使用LLM来rerank,给LLM写好prompt即可。 下面是一个简单的示例代码,演示如何使用prompt+RAG: ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration # 初始化tokenizer、retriever和seq2seq模型 tokenizer = RagTokenizer.from_pretrained('facebook/rag-token-base') retriever = RagRetriever.from_pretrained('facebook/rag-token-base', index_name='exact', use_dummy_dataset=True) model = RagSequenceForGeneration.from_pretrained('facebook/rag-token-base') # 设置query和context query = "What is the capital of France?" context = "France is a country located in Western Europe. Paris, the capital city of France, is known for its romantic ambiance and iconic landmarks such as the Eiffel Tower." # 使用Retriever部分检索top-k个匹配的文档 retrieved_docs = retriever(query) # 将query和k个文档拼接起来作为QA的prompt input_dict = tokenizer.prepare_seq2seq_batch(query, retrieved_docs[:2], return_tensors='pt') generated = model.generate(input_ids=input_dict['input_ids'], attention_mask=input_dict['attention_mask']) # 输出生成的回复 generated_text = tokenizer.batch_decode(generated, skip_special_tokens=True)[0] print(generated_text) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值