项目名称:从零开始NIM及大模型RAG使用入门
报告日期:2024年8月17日
项目负责人:Lio
项目概述:
大模型在改变很多行业,很多工作方式,虽然还有不足,但是对于很多场景都已经发挥了不同程度的作用,今天对NVIDIA NIM /LLM大模型模型及RAG浅浅使用,NVIDIA不仅提供了GPU加速大模型的计算,还让大模型更加好用易用,让我们离大模型更近,让大模型使用更简单。
什么是大模型:大模型是指参数量非常大的深度学习模型,通常用于处理大规模数据集,并能够学习到数据的复杂特征。大模型的出现,极大地提升了人工智能的能力,并在语音识别、图像处理、自然语言处理等领域取得了显著成果
什么是RAG:RAG 是检索增强生成(Retrieval-Augmented Generation)的简称,是当前最火热的大语言模型应用落地的关键技术,主要用于提高语言模型的效果和准确性。它结合了两种主要的NLP方法:检索(Retrieval)和生成(Generation)。
技术方案与实施步骤
- 模型选择:
基于深度学习的英伟达NIM平台,模型使用了llama-3.1-405b-instruct、llama3-8b-instruct,算是大名鼎鼎,llama开源比较早,接触过大模型的大多数朋友都听过,llama3-8b-instruct还可以下载到本地运行,正好测试以下刚拿到的旗舰专业卡 NVIDIA RTX 5880 Ada 48G。
实施步骤:
环境准备:
#windows环境请参考:https://blog.csdn.net/kunhe0512/article/details/140910139
#Linux平台
#安装conda
mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
alias conda=~/miniconda3/_conda #可以编辑到 .bashrc 等自启动
#创建python 3.8虚拟环境
conda create --name ai_endpoint python=3.8
#进入虚拟环境
#注:本次在Linux下搭建,进入前,需要退出一次终端窗口,重新打开。再次进入
conda activate ai_endpoint
#进入虚拟环境后后,提示符显示如下:
#(ai_endpoint) Lio@Super-Server:~$
安装nvidia_ai_endpoint工具
pip install langchain-nvidia-ai-endpoints
#安装Jupyter Lab
pip install jupyterlab
#安装langchain_core
pip install langchain_core
#安装langchain
pip install langchain
#测试发现,还需要安装
pip install -U langchain-community
#安装matplotlib
pip install matplotlib
#安装Numpy
pip install numpy
#安装faiss, 这里如果没有GPU可以安装CPU版本
pip install faiss-cpu==1.7.0 #或pip install faiss-gpu==1.7.2
#安装OPENAI库
pip install openai
#升级NVIDIA AI Foundation Endpoints
pip install --upgrade --quiet langchain-nvidia-ai-endpoints
#运行jupyter-lab,通过ssh或linux终端
jupyter-lab --ip=0.0.0.0 --port 8888 --allow-root
Linux桌面环境,会自动打开浏览器,进入jupyter页面。
如自己windows电脑,可打开浏览器访问服务器IP+端口8888,并根据提示,输入jupyter运行后输出的token密码信息,即可打开运行web调试环境。
验证NVIDIA NIM模型服务
from openai import OpenAI
client = OpenAI(
base_url = "https://integrate.api.nvidia.com/v1",
api_key = "<api key> "
)
#build.nvidia.com 可以登录生产api key,同时浏览有哪些模型可以使用,可以自行选择修改模型的名字。
completion = client.chat.completions.create(
model="meta/llama-3.1-405b-instruct",
messages=[{"role":"user","content":"泰坦尼克号的导演是谁"}],
temperature=0.2,
top_p=0.7,
max_tokens=1024,
stream=True
)
for chunk in completion:
if chunk.choices[0].delta.content is not None:
print(chunk.choices[0].delta.content, end="")
输出返回信息如下:
詹姆斯·卡梅隆
meta/llama-3.1-405b-instruct返回数据简洁且准确,回答使用中文。可见模型更大,相对准确性和功能更强。
也可以使用langchain方式调用,代码如下:
from langchain_nvidia_ai_endpoints import ChatNVIDIA
ChatNVIDIA.get_available_models()
llm = ChatNVIDIA(model="meta/llama-3.1-405b-instruct", nvidia_api_key=nvapi_key, max_tokens=512)
result = llm.invoke("泰坦尼克号的导演是谁?")
print(result.content)
Llama 8b模型下载及本地化使用及验证
(docer环境安装部署略,可参考 网络文章)
sudo docker login -u \$oauthtoken -p <api key> nvcr.io
#运行模型,启动命令会自动下周模型,需要等等一会儿,注意下面apikey的输入,和NV官网给的有些区别,实测按下面命令格式通过
export LOCAL_NIM_CACHE=~/.cache/nim
mkdir -p "$LOCAL_NIM_CACHE"
sudo docker run -it --rm \
--gpus all \
--shm-size=16GB \
-e NGC_API_KEY=<api key> \
-v "$LOCAL_NIM_CACHE:/opt/nim/.cache" \
-u $(id -u) \
-p 8000:8000 \
nvcr.io/nim/meta/llama3-8b-instruct:1.0.0
运行后,通过命令行,验证服务是否正常:
curl -X 'POST' \
'http://0.0.0.0:8000/v1/chat/completions' \
-H 'accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
"model": "meta/llama3-8b-instruct",
"messages": [{"role":"user", "content":"泰坦尼克号的导演是谁?"}],
"max_tokens": 64
}'
正常返回结果如下,llama3-8b模型能识别中文问题,但回答明显有点复杂,而且是英文。
{"id":"cmpl-64e1a9e9bf904fcfb36018e19f1216be","object":"chat.completion","created":1723885676,"model":"meta/llama3-8b-instruct","choices":[{"index":0,"message":{"role":"assistant","content":"A legendary question! \n\nThe director of the 1997 film \"Titanic\" is James Cameron. He is a Canadian film director, producer, screenwriter, and Deepsea explorer. Cameron is known for his visual and technical skill in directing, and \"Titanic\" was a massive commercial success, gross"},"logprobs":null,"finish_reason":"length","stop_reason":null}],"usage":{"prompt_tokens":21,"total_tokens":85,"completion_tokens":64}}
数据构建
RAG能够加强大模型的知识结构,提高大模型的使用价值,数据构建使用NV-Embed-QA的模型对象,建立并重新数据,本次采用文本文件:
from langchain_nvidia_ai_endpoints import NVIDIAEmbeddings
embedder = NVIDIAEmbeddings(model="NV-Embed-QA")
#读取指定路径的txt文件
import os
from tqdm import tqdm
from pathlib import Path
# Here we read in the text data and prepare them into vectorstore
ps = os.listdir("./zh_data/")
data = []
sources = []
for p in ps:
if p.endswith('.txt'):
path2file="./zh_data/"+p
with open(path2file,encoding="utf-8") as f:
lines=f.readlines()
for line in lines:
if len(line)>=1:
data.append(line)
sources.append(path2file)
#对于读取的文件,进行一些简单处理后,进行分词处理
documents=[d for d in data if d != '\n']
len(data), len(documents), data[0]
# Here we create a vector store from the documents and save it to disk.
from operator import itemgetter
#from langchain.vectorstores import FAISS
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain.text_splitter import CharacterTextSplitter
from langchain_nvidia_ai_endpoints import ChatNVIDIA
import faiss
from langchain.vectorstores import FAISS
# 只需要执行一次,后面可以重读已经保存的向量存储
text_splitter = CharacterTextSplitter(chunk_size=400, separator=" ")
docs = []
metadatas = []
for i, d in enumerate(documents):
splits = text_splitter.split_text(d)
#print(len(splits))
docs.extend(splits)
metadatas.extend([{"source": sources[i]}] * len(splits))
store = FAISS.from_texts(docs, embedder , metadatas=metadatas)
store.save_local('./zh_data/nv_embedding')
# 要利用到新的知识,需要把向量数据加载进retriever,并对回答方式进行配置。
store = FAISS.load_local("./zh_data/nv_embedding", embedder,allow_dangerous_deserialization=True)
retriever = store.as_retriever()
prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"Answer solely based on the following context:\n<Documents>\n{context}\n</Documents>",
),
("user", "{question}"),
]
)
chain = (
{"context": retriever, "question": RunnablePassthrough()}
| prompt
| llm
| StrOutputParser()
)
chain.invoke("泰坦尼克号的导演是谁?")
返回输出信息如下:
'泰坦尼克号的导演是Lio·卡梅隆。'
注:
本次为了验证知识是否使用,数据故意喂了错误数据(只是为了验证,其他情况还是要严谨些),
(哈哈哈.....)
项目成果与展示:
项目整个流程,完成了大模型的完整流程,从基础模型,到通过文件建立向量数据,实现RAG。还尝试了大模型本地运行,8b模型显存使用40G,要求确实挺高。
错误知识库导致错误的回答,并不是模型的幻觉,该如何处理?这可能就是大模型和人类本质的区别吧,在相当长的时间里还是能帮助到大模型,我们还是要优于大模型。
问题与解决方案:
- 问题分析: 第一次做过程中,按给会有一些报错处理,比如apikey等,通过分析返回信息、并查阅相关资料进行修改。
#测试中,from langchain.vectorstores import FAISS 无法运行,发现环境还需要安装一些组件,安装命令如下:
pip install -U langchain-community
项目总结与展望:
对于初学者,以上过程可以很快的了解了大模型的一个流程闭环,从搭建到使用,再到知识数据的重建,同时也让我们认识了大模型的一些问题,特别是数据的准确性和真实性,非常非常重要。
对于UI开发能力高的同学,可以将本地下载的大模型,配合自己搭建的UI页面,将大模型输入输出做的更加便捷,希望看到更好的大模型应用。
附件与参考资料
2024 NVIDIA开发者社区夏令营环境配置指南(Win & Mac)_csdn 2024nvidia开发者-CSDN博客