使用本地 LLM 构建 Llama 3.1 8b Streamlit 聊天应用程序：使用 Ollama 的分

介绍

大型语言模型（LLMs）彻底改变了人工智能领域，提供了令人印象深刻的语言理解和生成能力。

本文将指导您构建一个使用本地LLM的Streamlit聊天应用程序，特别是来自Meta的Llama 3.1 8b模型，通过Ollama库进行集成。

前提条件

在我们深入代码之前，请确保您已安装以下内容：

• Python
• Streamlit
• Ollama

设置 Ollama 和下载 Llama 3.1 8b

首先，您需要安装 Ollama 并下载 Llama 3.1 8b 模型。打开命令行界面并执行以下命令：

创建 Modelfile

要创建一个与您的 Streamlit 应用无缝集成的自定义模型，请按照以下步骤操作：

1. 在您的项目目录中，创建一个名为 Modelfile 的文件，不带任何扩展名。
2. 在文本编辑器中打开 Modelfile，并添加以下内容：

model: llama3.1:8b

此文件指示 Ollama 使用 Llama 3.1 8b 模型。

代码

导入库和设置日志记录

• streamlit as st：这导入了 Streamlit，一个用于创建交互式网页应用的库。
• ChatMessage 和 Ollama：这些是从 llama_index 库中导入的，用于处理聊