摘要
2024-08-17 周六 杭州 晴空万里
小记: 每天过都的都好快,度日如年的人生会不会变得很漫长。平时也都是些小烦恼,就是感觉时间过得太快了。
早上,过命的兄弟(好朋友)问我会不会做数字人,可以视频交互的那种,聊了好一会儿,无论成败,都要帮忙搞一下。
课程内容
chatglm 我用的相对比较熟悉的,不过一直没有安装部署过开源的 ollama ,数字人直播合成实践前,先把 ollama 的大模型交互流程完整的进行部署和实践一波。
这两年比较暗黑的笑话就是 OpenAI 不 Open ,不过 ollama 还算得上是开源文明难得的曙光。
1. Ollama 简介
Ollama官网:https://ollama.com/,官方网站的介绍就一句话:Get up and running with large language models. (开始使用大语言模型。)
Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型、降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。
-
Ollama支持的大语言模型列表,可通过搜索模型名称查看:https://ollama.com/library
-
Ollama官方 GitHub 源代码仓库:https://github.com/ollama/ollama/
-
Llama是 Meta 公司开源的备受欢迎的一个通用大语言模型,和其他大模型一样,Llama可以通过Ollama进行管理部署和推理等。
-
Ollama与Llama的关系:Llama是大语言模型,而Ollama是大语言模型(不限于Llama模型)便捷的管理和运维工具,它们只是名字后面部分恰巧相同而已!
心得: 如果想要使用 Ollama 就需要科学的进行网络访问,这个真的没啥技术难题,但是对于非技术人员来讲,也会让他们抓耳挠腮半天。然后国内部分公司行使布道卫士的角色存在,什么魔塔,gitee,如果中国大陆不做网络封禁,国外不对中国大陆进行网络封禁,哪里需要这些小丑蹦跶。
2. Ollama 参数简介
在官网首页,我们可以直接下载Ollama安装程序(支持 Windows/MacOS/Linux):https://ollama.com/
Ollama的安装过程,与安装其他普通软件并没有什么两样,安装完成之后,有几个常用的系统环境变量参数建议进行设置:
1. OLLAMA_MODELS:模型文件存放目录,默认目录为当前用户目录(Windows 目录:C:\Users%username%.ollama\models,MacOS 目录:~/.ollama/models,Linux 目录:/usr/share/ollama/.ollama/models),如果是 Windows 系统建议修改(如:D:\OllamaModels),避免 C 盘空间吃紧