书生大模型实战营 基础第4关 InternLM + LlamaIndex RAG 实践

任务要求：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存

一、环境准备

studio-conda -t llamaindex -o pytorch-2.1.2
conda activate llamaindex
pip install llama-index0.10.38 llama-index-llms-huggingface0.2.0 "transformers[torch]4.41.1" "huggingface_hub[inference]0.23.1" huggingface_hub0.23.1 sentence-transformers2.7.0 sentencepiece==0.2.0
pip install llama-index-embeddings-huggingface llama-index-embeddings-instructor

下载 Sentence Transformer 模型

cd ~ && mkdir llamaindex_demo && huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/sentence-transformer

# 下载 NLTK 相关资源
cd ~/llamaindex_demo
git clone https://gitee.com/yzy0612/nltk_data.git --branch gh-pages 
cd nltk_data 
mv packages/* ./
cd tokenizers 
unzip punkt.zip 
cd ../taggers 
unzip averaged_perceptron_tagger.zip

# LlamaIndex HuggingFaceLLM
cd ~
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b/ /root/internlm2-chat-1_8b

cd ~/llamaindex_demo 
touch llamaindex_internlm.py

# 防止加入rag显存爆炸，先执行一下量化
lmdeploy lite auto_awq \
   /root/internlm2-chat-1_8b \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/internlm2-chat-1_8b-4bit

二、没有加入rag测试

测试代码

from llama_index.llms.huggingface import HuggingFaceLLM
from llama_index.core.llms import ChatMessage
llm = HuggingFaceLLM(
    model_name="/root/model/internlm2-chat-1_8b",
    tokenizer_name="/root/model/internlm2-chat-1_8b",
    model_kwargs={"trust_remote_code":True},
    tokenizer_kwargs={"trust_remote_code":True}
)

response = llm.chat(messages=[ChatMessage(content="xtuner是什么？")])
print(response)

结果：

三、加入rag测试

安装 LlamaIndex 词嵌入向量依赖

conda activate llamaindex
pip install llama-index-embeddings-huggingface llama-index-embeddings-instructor

获取知识库

cd ~/llamaindex_demo
mkdir data
cd data
git clone https://github.com/InternLM/xtuner.git
mv xtuner/README_zh-CN.md ./
新建llamaindex_RAG.py文件
cd ~/llamaindex_demo
touch llamaindex_RAG.py

更新代码

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings

from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.huggingface import HuggingFaceLLM

#初始化一个HuggingFaceEmbedding对象，用于将文本转换为向量表示
embed_model = HuggingFaceEmbedding(
#指定了一个预训练的sentence-transformer模型的路径
    model_name="/root/model/sentence-transformer"
)
#将创建的嵌入模型赋值给全局设置的embed_model属性，
#这样在后续的索引构建过程中就会使用这个模型。
Settings.embed_model = embed_model

llm = HuggingFaceLLM(
    model_name="/root/model/internlm2-chat-1_8b",
    tokenizer_name="/root/model/internlm2-chat-1_8b",
    model_kwargs={"trust_remote_code":True},
    tokenizer_kwargs={"trust_remote_code":True}
)
#设置全局的llm属性，这样在索引查询时会使用这个模型。
Settings.llm = llm

#从指定目录读取所有文档，并加载数据到内存中
documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
#创建一个VectorStoreIndex，并使用之前加载的文档来构建索引。
# 此索引将文档转换为向量，并存储这些向量以便于快速检索。
index = VectorStoreIndex.from_documents(documents)
# 创建一个查询引擎，这个引擎可以接收查询并返回相关文档的响应。
query_engine = index.as_query_engine()
response = query_engine.query("xtuner是什么?")

print(response)

结果为：

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/c3cf7bc151934b18940008aa3e8e6405.png