ollama本地搭建大模型

da'jdaj人工智能,现在流行的大模型有很多,像流行的:gpt-3.5-turbo、通义千问2.5,Llama3;

本地安装大模型有什么好处

大模型都是开源的,安装在自己的电脑上也是免费使用的;可以结合自己的私有文件系统,打造一个大模型+个人知识库的AI系统,既保护了个人数据隐私,

大模型参数

其中比较重要的比如qwen7b, llama8b,这里的7b、8b代表什么?

b是英文的billion,意思是十亿,7b就是70亿,8b就是80亿,70亿、80亿是指大模型的神经元参数(权重参数 weight+bias)的总量。

目前大模型都是基于Transformer架构,并且是很多层的Transformer结构,最后还有全连接层等,所有参数加起来70亿,80亿,还有的上千亿。

本地如何安装大模型

到ollama官网Ollama,下载window安装包;有window、linux、macOS三个平台上运行

下载完直接双击运行; 安装完成后;在window电脑,搜索oolama,进行服务启动

安装完成后,在cmd执行ollama ;

ollama list 查看oolama 已经安装了哪些模型

ollama run llama3 启动ollama服务器;然后出现send  a message

这样就可以和llama3对话了

### Ollama 本地模型丢失后的恢复或重新下载方法 当 Ollama本地模型丢失时,可以通过以下方式来恢复或重新下载: #### 方法一:通过环境变量重新指定存储位置 如果之前未设置 `OLlama_MODELS` 环境变量,则默认情况下 Ollama 会将模型文件存放在用户目录下的 `.ollama/models` 文件夹中。这可能导致磁盘空间不足或其他问题而引发模型丢失。 为了防止再次发生类似情况,建议先配置环境变量 `OLLAMA_MODELS` 来改变模型的存储路径[^4]。 具体操作如下: 1. 打开系统的环境变量配置界面; 2. 添加一个新的环境变量名为 `OLLAMA_MODELS` 并设定其值为目标文件夹路径(例如 `/path/to/new/model/folder` 或 `D:\ollama_models`); 3. 修改完成后重启终端以应用新的环境变量; 完成上述步骤后即可按照正常流程重新下载所需的大规模预训练语言模型实例。 #### 方法二:手动复制已有的本地模型至目标位置 假如曾经成功下载过某些特定版本的语言处理框架但后来被意外删除或者覆盖掉了,在这种情形下可以从备份介质或者其他节点上获取对应的压缩包形式的数据集再利用 Docker 容器技术将其挂载进去供服务端调用[^2]。以下是实现这一过程的具体命令序列: ```bash docker cp /source/path/of/local/copy/file gguf-format-model-file-name ollama:/mnt/model/ docker exec -it ollama bash ls /mnt/model # 验证文件是否存在 ollama create your_model_name -f /mnt/model/gguf-format-model-file-name/modelfile ``` #### 方法三:借助脚本工具自动化安装流程 对于初次接触该平台的新手来说可能觉得以上两种途径都比较复杂难懂,那么还可以考虑采用官方推荐的一键式解决方案——即运行一段预先编写好的 shell 脚本来简化整个部署环节的工作量[^3]。下面展示了一个典型例子用于说明如何快速搭建起支持中文问答功能的服务接口: ```bash curl -fsSL https://ollama.com/install.sh -o ollama_install.sh sed -i 's|https://ollama.com/download/ollama-linux|https://gh.proxy.site/https://github.com/ollama/ollama/releases/latest/download/ollama-linux|g' ollama_install.sh chmod +x ollama_install.sh ./ollama_install.sh ``` 执行完毕之后便能够轻松获得最新稳定版程序以及关联资源文档等内容了! --- ### 注意事项 无论采取哪种策略都需要确保当前操作系统有足够的剩余储存容量可供使用以免重复遭遇“No Space Left On Device”的报错提示信息[^1]。另外值得注意的是每次更新迭代版本号可能会有所变动因此实际操作过程中应当参照官方网站发布的正式公告为准绳来进行相应调整适配工作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序猿365

祝你好运,谢谢

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值