（22-2）基于RAG的法律法规解析系统（Llama3+Langchain+ChromaDB）：准备模型

11.3  准备模型

本项目使用Llama3作为大型语言模型（LLM），用于生成基于检索文档的自然语言回答功能。这个模型是本检索增强生成（RAG）系统的核心，使得项目能够有效地解析和回答有关欧盟人工智能法案的复杂查询。通过精心设计的整合和优化，项目实现了对法律文本的深入理解和高效检索，极大地提升了对法规解析的自动化和智能化水平。

11.3.1  配置和加载大型语言模型

配置和加载大型语言模型（LLM），具体使用的是 Llama 3 的变体模型8b-chat-hf，以便在自然语言处理任务中使用。

model_id = 'llama-3/transformers/8b-chat-hf/1'

device = f'cuda:{cuda.current_device()}' if cuda.is_available() else 'cpu'

bnb_config = transformers.BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_q