使用 Langchain 和 Ollama 的 PDF 聊天机器人分步指南

介绍

在技术不断改变我们与信息交互方式的时代，PDF 聊天机器人的概念将便利性和效率提升到了新的水平。本文深入探讨了使用 Langchain 和 Ollama 创建 PDF 聊天机器人的有趣领域，其中只需最少的配置即可访问开源模型。告别框架选择和模型参数调整的复杂性，我们踏上释放 PDF 聊天机器人潜力的旅程。

了解如何无缝安装 Ollama、下载模型以及制作 PDF 聊天机器人，为你的查询提供智能响应。让我们探索这种令人兴奋的技术与文档处理的融合，使信息检索变得比以往更容易。

学习目标

• 了解如何在计算机上安装 Ollama。

• 了解如何使用 Ollama 下载并运行开源模型。

• 了解使用 Langchain 和 Ollama 创建 PDF 聊天机器人的过程。

目录

• 先决条件

• Ollama是什么？

• 如何安装Ollama？

• 下载模型

• 创建聊天机器人

• 常见问题

先决条件

要正确理解本文，你需要：

• 对 Python 有良好的了解，并且

• Langchain的基础知识，即连锁店、矢量商店等。

Langchain 提供了用于创建 LLM 应用程序的各种类型的功能。它本身值得一篇单独的文章。如果你不知道Langchain是什么，我建议你看一些关于Langchain的文章或教程。你也可以看看这个视频：

https://youtu.be/DXmiJKrQIvg?si=SzHzQ_T1BXjHw0o4

Ollama是什么？

Ollama 使你能够下载开源模型并在本地使用。它会自动从最佳来源下载模型。如果你的计算机上有专用 GPU，它将通过GPU(https://www.analyticsvidhya.com/blog/2023/03/cpu-vs-gpu/)加速运行模型。你不需要手动设置它。你甚至可以通过更改提示来自定义模型（是的，你不需要 Langchain）。Ollama 还可以作为 docker 镜像提供，以便你可以将自己的模型部署为 docker 容器。现在让我们看看如何在你的计算机上安装 Ollama。

如何安装Ollama？

不幸的是，Ollama 仅适用于MacOS和Linux。不过不用担心，Windows 用户还有一种方法可以使用 Ollama – WSL2。如果你的计算机上没有 WSL2，请阅读(https://open.substack.com/pub/srang992/p/how-to-create-a-wsl-development-environment?r=2c5vg4&utm_campaign=post&utm_medium=web)。

在这里，我解释了有关 WSL2 的所有内容以及如何在 VS Code 中使用它。如果你已经安装了它，请打开 Ubuntu 并在终端中运行以下命令。

curl https://ollama.ai/install.sh | sh

这将在 WSL2 中安装 Ollama。如果你使用的是MacOS，请访问此处(https://ollama.ai/download/mac)。现在你可以使用 Ollama 下载模型了。保持终端打开，我们还没有完成。

下载模型

Ollama 提供各种模型 - llama2、llama2-uncensored、codellama、orca-mini等。如果你想了解所有可用模型，可以访问此(https://ollama.ai/library)网站。你将在此处下载orca-mini 3b模型。它是一个 Llama 模型，使用 Orca 论文中定义的方法创建的 Orca 风格数据集进行训练。

虽然这个模型很小（1.9GB），但仍然给出了不错的反应。要下载此模型，请运行以下命令：

ollama run orca-mini

此命令将下载并在终端中运行orca-mini模型。在运行此模型之前，请确保计算机上至少有 8GB RAM。

如果你正在运行该模型，请询问它一些问题并查看它的响应情况。这是一个例子：

从上面的例子可以看出，它有时会提供不相关的信息。我们可以通过更改提示来解决此问题。我们将在创建聊天机器人时更改提示。

现在模型可以正常工作了，让我们使用它创建 PDF 聊天机器人。

创建聊天机器人

设置项目目录

如果你不知道如何在WSL2中创建项目，请参阅本文(https://open.substack.com/pub/srang992/p/how-to-create-a-wsl-development-environment?r=