书山大模型第三期 6 llamaindex+Internlm2 RAG实践

首先创建环境 

conda create -n llamaindex python=3.10

安装环境

conda activate llamaindex
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia

这里出现了如下报错，原因应该是，之前conda环境中安装过别的包，有conda缓存

使用

之后重新运行

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia  就可以了

安装依赖

pip install einops
pip install  protobuf

安装 Llamaindex和相关的包

pip install llama-index==0.10.38 llama-index-llms-huggingface==0.2.0 "transformers[torch]==4.41.1" "huggingface_hub[inference]==0.23.1" huggingface_hub==0.23.1 sentence-transformers==2.7.0 sentencepiece==0.2.0

新建一个python文件

cd ~
mkdir llamaindex_demo
mkdir model
cd ~/llamaindex_demo
touch download_hf.py

键入脚本

运行脚本

下载 nltk 资源

cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

把 InternLM2 1.8B 软连接出来

cd ~/model
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b/ ./

新建一个python文件

cd ~/llamaindex_demo
touch llamaindex_internlm.py

键入代码

运行代码

回答的是奇奇怪怪的。

使用LlamaIndex RAG

安装 LlamaIndex 词嵌入向量依赖

conda activate llamaindex
pip install llama-index-embeddings-huggingface llama-index-embeddings-instructor

获取知识库

cd ~/llamaindex_demo
mkdir data
cd data
git clone https://github.com/InternLM/xtuner.git
mv xtuner/README_zh-CN.md ./

创建一个py文件

cd ~/llamaindex_demo
touch llamaindex_RAG.py

键入如下命令

运行该py文件

比较不使用rag与使用rag效果：

不使用rag 技术询问 你是谁？

使用rag技术询问 你是谁？

不使用rag技术询问 什么是人工智能？

使用rag技术询问 什么是人工智能？