运行你自己的AI：使用Ollama和Langchain构建Python聊天机器人

与 联合创作
你是否曾因网络问题、API限制或隐私顾虑而无法使用ChatGPT？是否渴望拥有一个无需依赖云端、完全免费的智能助手？如果是，那么点击这篇文章就对了！
本指南将手把手教你用Python和本地运行的LLM（大语言模型）从零搭建聊天机器人——无需云端依赖，甚至离线也能运行！

为何选择本地LLM？

本地大语言模型（LLM）为云端AI服务提供了另一种选择。使用本地LLM时，所有数据都保存在您的设备上——无需传输至外部服务器。这对于处理医疗、金融等敏感数据至关重要。本地模型还赋予您完全控制权：可自由调整提示词与系统行为，甚至能基于特定领域数据微调模型以提升性能！

为何选择Python？

Python 是构建本地大语言模型（LLM）聊天机器人的理想选择，因为它易于学习、语法简洁清晰，并拥有庞大的AI和机器学习库生态系统。诸如llama-cpp-python和langchain等工具都对Python友好，使得与LLM的集成无缝衔接。

为何选择Langchain？

选择Langchain的原因在于它通过提供一个支持多步骤链式调用、集成外部数据源（如文件、API或数据库）、管理会话内存以及创建工具调用智能体的框架，简化了基于大语言模型构建强大应用的过程，同时保持代码的模块化与可扩展性。

环境准备

开始前请确保已满足以下条件：

• Python 3.12

• 系统至少需要8GB内存（内存越大越好）

• 具备Python基础使用经验

• [可选] 如需更快的速度，可配备一块GPU。

配置本地大语言模型

1. 下载Ollama

• 首先，从 https://ollama.com/ 安装 Ollama

• 然后选择下载。根据您的操作系统进行选择。本次安装我们将以Windows系统为例。
  

• 下载完成后，打开.exe文件。
  

• 完成所有设置后，打开命令提示符并输入"ollama"。

• 我们还未下载任何本地大语言模型。如需浏览，请访问 https://ollama.com/search