2024-08-17 - 通用人工智能技术 - AI 数字人直播 - 大模型篇 - 流雨声

摘要

2024-08-17 周六 杭州 晴空万里

小记: 每天过都的都好快，度日如年的人生会不会变得很漫长。平时也都是些小烦恼，就是感觉时间过得太快了。

早上，过命的兄弟(好朋友)问我会不会做数字人，可以视频交互的那种，聊了好一会儿，无论成败，都要帮忙搞一下。

课程内容

chatglm 我用的相对比较熟悉的，不过一直没有安装部署过开源的 ollama ，数字人直播合成实践前，先把 ollama 的大模型交互流程完整的进行部署和实践一波。

这两年比较暗黑的笑话就是 OpenAI 不 Open ，不过 ollama 还算得上是开源文明难得的曙光。

1. Ollama 简介

Ollama官网：https://ollama.com/，官方网站的介绍就一句话：Get up and running with large language models. （开始使用大语言模型。）

Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型、降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。

• Ollama支持的大语言模型列表，可通过搜索模型名称查看：https://ollama.com/library

• Ollama官方 GitHub 源代码仓库：https://github.com/ollama/ollama/

• Llama是 Meta 公司开源的备受欢迎的一个通用大语言模型，和其他大模型一样，Llama可以通过Ollama进行管理部署和推理等。

• Ollama与Llama的关系：Llama是大语言模型，而Ollama是大语言模型（不限于Llama模型）便捷的管理和运维工具，它们只是名字后面部分恰巧相同而已！

心得: 如果想要使用 Ollama 就需要科学的进行网络访问，这个真的没啥技术难题，但是对于非技术人员来讲，也会让他们抓耳挠腮半天。然后国内部分公司行使布道卫士的角色存在，什么魔塔，gitee，如果中国大陆不做网络封禁，国外不对中国大陆进行网络封禁，哪里需要这些小丑蹦跶。

2. Ollama 参数简介

在官网首页，我们可以直接下载Ollama安装程序（支持 Windows/MacOS/Linux）：https://ollama.com/

Ollama的安装过程，与安装其他普通软件并没有什么两样，安装完成之后，有几个常用的系统环境变量参数建议进行设置：

1. OLLAMA_MODELS：模型文件存放目录，默认目录为当前用户目录（Windows 目录：C:\Users%username%.ollama\models，MacOS 目录：~/.ollama/models，Linux 目录：/usr/share/ollama/.ollama/models），如果是 Windows 系统建议修改（如：D:\OllamaModels），避免 C 盘空间吃紧