本地大模型1:安装部署本地Ollama大模型

推荐1:文章来自B站【云城叨叨】的视频的总结,想要获得更全面的内容请前往:【2024年7月最新视频,从无到有,教你本地部署Chat GPT大语言模型】 https://www.bilibili.com/video/BV11ZbBeUEEo/?share_source=copy_web

视频重要点截图

推荐2:Ollama全面指南:安装、使用与高级定制_ollama安装-CSDN博客

目录

一、安装Ollama大模型启动器

1.浏览器打开Ollama,点击Download

2.选择对应系统的版本,点击Download for ...下载

3.下载后双击进入,点击install安装,等待安装完成

4.安装完成后Win+R,输入cmd进入,输入ollama并回车,显示如下页面则ollama安装成功

二、安装大模型

1.修改环境变量,安装大模型到D盘(默认是C盘)。Win+i进入设置,搜索【查看高级系统设置】,进入【环境变量】

2.进入Path,配置Ollama安装位置的环境变量,配置完后点击确定

 3.新建变量名OLLAMA_MODELS(图片错了),设置路径,三连【确定】。注意:一定要重启Ollama!!!否则依然会安装到C盘,步骤在图片后

4.点击进入Models,选择需要的大模型,这里以llama3.1为例,点击进入

5.初学者以8b(8亿训练参数)为例,下拉点击选择8b(选择后复制内容会变化),点击复制

6.在cmd粘贴并回车,等待下载

7.错误:如果出现下面的错误,可以试试粘贴回车重试几遍,或者再重启ollama,还不行试试再搭个梯子,最后依然不行就去搜一下试试别的方法?


一、安装Ollama大模型启动器

1.浏览器打开Ollama,点击Download

2.选择对应系统的版本,点击Download for ...下载

3.下载后双击进入,点击install安装,等待安装完成

  

4.安装完成后Win+R,输入cmd进入,输入ollama并回车,显示如下页面则ollama安装成功

二、安装大模型

1.修改环境变量,安装大模型到D盘(默认是C盘)。Win+i进入设置,搜索【查看高级系统设置】,进入【环境变量】

2.进入Path,配置Ollama安装位置的环境变量,配置完后点击确定

 3.新建变量名OLLAMA_MODELS(图片错了),设置路径,三连【确定】。注意:一定要重启Ollama!!!否则依然会安装到C盘,步骤在图片后

重启:在右下角找到羊驼图标,右键或者单机,在弹出的下拉框选择【Quit Ollama】,然后Win+R打开cmd,输入ollama回车即可。等以后下载了大模型后,直接【ollama run 模型名字】即可打开模型。

 

4.点击进入Models,选择需要的大模型,这里以llama3.1为例,点击进入

5.初学者以8b(8亿训练参数)为例,下拉点击选择8b(选择后复制内容会变化),点击复制

6.在cmd粘贴并回车,等待下载

下载成功并测试对话

7.错误:如果出现下面的错误,可以试试粘贴回车重试几遍,或者再重启ollama,还不行试试再搭个梯子,最后依然不行就去搜一下试试别的方法?

三、用java连接ollama

点击前往推荐文章

四、用python连接ollama

点击前往我的文章

### 安装 Ollama 为了在Linux系统上本地安装配置Ollama,可以按照如下方法操作: 对于希望快速完成安装的用户来说,在新的终端中输入特定命令能够实现自动化安装过程。这涉及使用`curl`工具获取远程Shell脚本并通过管道将其传递给shell解释器立即执行[^1]。 ```bash curl -fsSL https://ollama.com/install.sh | sh ``` 上述命令会自动处理依赖关系并设置环境以便于后续的大语言模型管理和应用开发工作。此过程类似于Docker容器技术的工作原理——即提供了一种简便的方式来集中管理和部署多种不同的软件包和服务实例[^2]。 一旦完成了基本安装流程之后,还可以进一步考虑将Ollama配置成为系统的守护进程(service),从而确保其能够在后台稳定运行,并且可以在系统启动时自动激活。具体做法取决于所使用的Linux发行版及其初始化管理系统(如Systemd, SysVinit等)。通常情况下,官方文档或社区资源里会有详细的指导说明帮助完成这项任务。 #### 创建 Systemd 服务文件 (适用于大多数现代 Linux 发行版) 创建一个名为 `ollama.service` 的文件位于 `/etc/systemd/system/` 目录下: ```ini [Unit] Description=Ollama Service After=network.target [Service] ExecStart=/usr/local/bin/ollama start Restart=on-failure User=nobody Group=nogroup Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin" [Install] WantedBy=multi-user.target ``` 保存更改后加载新服务单元至 systemd 并启用开机自启功能: ```bash sudo systemctl daemon-reload sudo systemctl enable ollama.service ``` 最后一步就是启动该服务了: ```bash sudo systemctl start ollama.service ``` 这样就成功地将在Linux平台上进行了Ollama的基础安装以及作为长期运行的服务来进行维护所需的全部步骤。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值