书生大模型实战营--L1关卡-Llamaindex RAG实践

一、安装llamaindex库

pip install llama-index
pip install llama-index-embeddings-huggingface

二、问2024年巴黎奥运会 中国队获得几枚金牌，无法回答该问题

三、构建Llamaindex RAG

1、初始化llm

2、构建词向量模型

   下载模型：git clone https://www.modelscope.cn/Xorbits/bge-m3.git

3、构建文档库

文档内容

4、查询2024年巴黎奥运会 中国队获得几枚金牌的答案

5、更新一下奖牌数据，截至07月28日上午11点，各个国家的奖牌数

奖牌统计 - 2024年巴黎奥运会奖牌榜

1. 澳大利亚（Australia）：共获得5枚奖牌，其中包括3枚金牌、2枚银牌和0枚铜牌。
2. 中国（China）：共获得3枚奖牌，其中包括2枚金牌、0枚银牌和1枚铜牌。
3. 美国（United States of America）：共获得5枚奖牌，其中包括1枚金牌、2枚银牌和2枚铜牌。
4. 法国（France）：共获得4枚奖牌，其中包括1枚金牌、2枚银牌和1枚铜牌。
5. 大韩民国（Republic of Korea）：共获得3枚奖牌，其中包括1枚金牌、1枚银牌和1枚铜牌。
6. 比利时（Belgium）：共获得2枚奖牌，其中包括1枚金牌、0枚银牌和1枚铜牌。
6. 日本（Japan）：共获得2枚奖牌，其中包括1枚金牌、0枚银牌和1枚铜牌。
6. 哈萨克斯坦（Kazakhstan）：共获得2枚奖牌，其中包括1枚金牌、0枚银牌和1枚铜牌。
9. 德国（Germany）：共获得1枚奖牌，其中包括1枚金牌、0枚银牌和0枚铜牌。
9. 中国香港（Hong Kong, China）：共获得1枚奖牌，其中包括1枚金牌、0枚银牌和0枚铜牌。

按照不同的问题，InternLM2-Chat-1.8B都能回答

六、代码如下

from llama_index.llms.openai_like import OpenAILike
from llama_index.core import Settings

llm = OpenAILike(
    api_key="EMPTY", # vllm 启动时没有配置，默认就是 EMPTY
    api_base="http://0.0.0.0:23333/v1", # 启动 vllm 的ip地址
    model="internlm2-chat-1_8b", # 启动 vllm 时设置的模型名字
    temperature="0.8", max_tokens=512
)

from llama_index.embeddings.huggingface import HuggingFaceEmbedding
embed_model = HuggingFaceEmbedding(model_name="/root/bge-m3")

from llama_index.core import VectorStoreIndex,SimpleDirectoryReader,ServiceContext,PromptTemplate,set_global_service_context



service_context = ServiceContext.from_defaults(llm=llm, embed_model=embed_model)
set_global_service_context(service_context)

documents = SimpleDirectoryReader("/root/data/").load_data()
index = VectorStoreIndex.from_documents(documents)
index.storage_context.persist(persist_dir="./storage")

query_engine = index.as_query_engine(streaming=True, similarity_top_k=3)
response_stream = query_engine.query("中国队获得几枚奖牌")
response_stream.print_response_stream()
print("-----"*20)

query_engine = index.as_query_engine(streaming=True, similarity_top_k=3)
response_stream = query_engine.query("按金牌统计，中国队排名是第几")
response_stream.print_response_stream()
print("-----"*20)

query_engine = index.as_query_engine(streaming=True, similarity_top_k=3)
response_stream = query_engine.query("按金牌统计，第一名是谁")
response_stream.print_response_stream()
print("-----"*20)