LlamaIndex+InternLM API 实战

1.进入开发机后，创建新的conda环境，命名为 llamaindex，在命令行模式下运行

conda create -n llamaindex python=3.10

        并查看创建好的的环境

 2.切换到新环境下安装依赖包

conda activate llamaindex
pip install einops==0.7.0 protobuf==5.26.1

2.1安装 Llamaindex和相关的包

conda activate llamaindex
pip install llama-index==0.11.20
pip install llama-index-llms-replicate==0.3.0
pip install llama-index-llms-openai-like==0.2.0
pip install llama-index-embeddings-huggingface==0.3.1
pip install llama-index-embeddings-instructor==0.2.1
pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu121

2.2下载 Sentence Transformer 词向量模型

cd ~
mkdir llamaindex_demo
mkdir model
cd ~/llamaindex_demo
touch download_hf.py

import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/model/sentence-transformer')

 执行下载

cd /root/llamaindex_demo
conda activate llamaindex
python download_hf.py

 

2.3 下载 NLTK 相关资源

cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

结果如下

2.4无RAG，无法正常回答问题

 

3 使用 API+LlamaIndex

3.1 运行以下命令，获取知识库

cd data

wget https://github.com/InternLM/HuixiangDou/blob/main/READM
E_zh.md

cd ~/llamaindex_demo
touch llamaindex_RAG.py

3.2 运行llamaIndex进行RAG

cd ~/llamaindex_demo/
python llamaindex_RAG.py

 可以看到结果已经发生变化，参考了外部文档