[大语言模型-工程实践] 手把手教你-基于Ollama搭建本地个人智能AI助理

[大语言模型-工程实践] 手把手教你-基于Ollama搭建本地个人智能AI助理

---

目录

---

1. Ollama简介

Ollama 是一个用于在本地环境中运行和定制大型语言模型的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama 支持多种操作系统，包括 macOS、Windows、Linux 以及通过 Docker 容器运行，这使得不同环境下的用户都能轻松使用。

安装 Ollama 相对简单，支持多平台部署。例如，在 macOS 上，可以通过 Homebrew 安装，而在 Windows 上则需要下载安装包并进行手动安装。Linux 用户可以通过包管理器或下载源码编译安装，也可以使用 Docker 安装。

使用 Ollama，你可以快速开始部署和运行大型模型。安装完成后，通过命令行启动 Ollama，部署模型，然后使用模型进行文本生成或其他任务。Ollama 提供了丰富的功能和 API，包括模型管理、模型运行、自定义模型等。

Ollama 还提供了 Python 和 JavaScript 库，以及命令行界面（CLI）和 REST API，方便开发者集成到各种应用中。此外，Ollama 支持从多种格式导入模型，如 GGUF、PyTorch 和 Safetensors，同时也提供了一个模型库，方便用户选择和使用。

Ollama 的安全性和隐私保护也是其一大特点。它使用 SSL/TLS 加密传输数据，并提供访问控制列表（ACL）来限制对服务的访问。Ollama 不会存储用户的个人数据，除非用户明确同意。

Ollama 的未来创新开发潜力巨大，包括模型优化和扩展、更广泛的应用集成、增强的定制化功能、社区和生态系统的增长以及安全性和隐私保护的提升。

2. 基于Ollama搭建本地个人智能AI助理

要基于 Ollama 搭建一个本地的个人智能 AI 助理并使用 Python 进行交互，你需要先确保 Ollama 已经在你的机器上正确安装，并且至少有一个模型已经部署好。

2.1 安装本地Ollama

首先，从官网上下载适合的Ollama版本，这里以MAC环境为例，从官网https://ollama.com/download 下载安装文件，

https://ollama.com/#:~:text=Get%20up%20and%20running%20with%20large%20language

接着，对下载的安装文件解压，得到一个Ollama的安装软件，点击该图标，并确认打开该软件，进入安装步骤:

安装过程比较简单，提示将该软件移到Applications，点击确定就可以:

如下图，点击Next。

继续点击Install，完成安装操作:

这时候会弹出一个参考demo的命令行，点击保存，然后点击Finish完成安装操作。

2.2 本地AI测试-控制台模式

打开一个常用的命令行终端，输入上面的demo命令行，将下载llama3.1的模型参数，后面就可以执行对话AI测试:

ollama run llama3.1

如果想要测试中文的大语言模型，可以使用qwen2，安装命令:

ollama run qwen2

这里，我们假设想利用个人AI助理帮我们安排一段旅行行程，测试效果如下:

> (base) fyfMBP:library fyf$ ollama run qwen2
>>> 我想要十一去趟南京，请帮我安排一个5天的游玩行程，推荐当地特殊景点和美食。
南京作为六朝古都，拥有丰富的历史文化遗产和独特的自然景观，同时也融合了江南水乡的柔美与现代化城市的活力。以下是为您精心设计的南京五日游行程建议：

**第一天：**
- **上午**：游览明孝陵和中山陵。这两大名胜体现了中国古代皇家园林的精髓和现代国家领袖的精神气度。
- **下午**：参观南京博物院，这里收藏着丰富的文物，从远古石器到明清瓷器，全面展示了中国历史文化的脉络。
- **晚上**：漫步秦淮河畔，体验古典与现代交融的独特风情。您可以在夫子庙附近品尝正宗的南京小吃，比如鸭血粉丝汤、盐水鸭等。

**第二天：**
- **全天**：游览南京大屠杀纪念馆和侵华日军南京大屠杀遇难同胞纪念馆。了解历史，缅怀先烈。
推荐参观后在雨花台感受自然之美与革命精神并存的魅力。

**第三天：**
- **上午**：前往紫金山天文台，享受一个宁静的早晨，在这里可以看到南京城的全貌和近处的山景。
- **下午**：探索南京老门东街区。这里是体验南京传统文化的好地方，您可以在这里漫步、购物、品尝地道小吃。

**第四天：**
- **全天**：参观雨花台烈士陵园和中国近代史遗址博物馆，缅怀革命先烈，了解中国近现代历史。
推荐晚上在新街口区域逛逛，这里有各种商场、书店、咖啡厅等，是感受南京现代生活的好去处。

**第五天：**
- **上午**：乘坐游船游览玄武湖，享受宁静的湖泊风光和周边的园林美景。
- **下午**：探访鸡鸣寺，体验古老的佛教文化。之后，您可以选择在附近的茶馆品茗休息，或者前往南京图书馆感受浓郁的文化氛围。

**美食推荐**：
1. 鸭血粉丝汤：是南京的传统小吃，口感丰富、鲜美可口。
2. 盐水鸭：南京的特色名菜之一，肉质紧实、味道鲜美。
3. 南京烤鸭包：皮薄馅多，咬一口满嘴流油，非常美味。

这只是一个大致的行程框架，您可以根据个人兴趣和时间安排进行调整。希望您在南京的旅程愉快！

再来一个例子，如果我们希望模型帮我们查询一些最新的论文资料，可以如下操作:

>>> please help me to retrieval some papers about CTR predictions in recent two years.
To retrieve recent research papers on Click-Through Rate (CTR) prediction, you can use academic databases such as Google Scholar, PubMed, IEEE Xplore, and the ACM Digital Library. Here's a step-by-step guide on how to search these platforms effectively:

### Google Scholar
1. **Search for Keywords**: Enter keywords like "CTR Prediction", "Machine Learning CTR", "Deep Learning for CTR", etc., in the search bar.
2. **Filter by Year**: After selecting your search results, apply filters to display only papers published within the last two years.
3. **Check Citations and Recommendations**: Google Scholar often shows highly cited articles at the top, which are influential studies that you might want to explore.

### PubMed
If your research involves biological or medical applications of CTR predictions:
1. **Search Terms**: Use terms like "Machine Learning", "Predictive Modeling", "User Behavior", along with specific disease/condition names.
2. **Date Range**: Set the date range to filter results from the last two years.

### IEEE Xplore
For papers related to engineering or com