【大模型】动手搭建自己的大模型Ollama 部署和实战

最新推荐文章于 2024-08-24 10:17:17 发布
最新推荐文章于 2024-08-24 10:17:17 发布
阅读量25 收藏
点赞数 2
文章标签： linux ai 人工智能
原文链接：https://zclinux.blog.csdn.net/article/details/141356170?spm=1001.2014.3001.5502
版权

动手搭建自己的大模型Ollama 部署和实战

转自：https://zclinux.blog.csdn.net/article/details/141356170?spm=1001.2014.3001.5502
本文只验证搭建，后续的内容可以查看上面的url参照原文继续学习

1. 部署

1.1 Mac & Windows

相对简单，根据你电脑的不同操作系统，下载对应的客户端软件，并安装：

  • macOS：https://ollama.com/download/Ollama-darwin.zip
  • Windows：https://ollama.com/download/OllamaSetup.exe

1.2 Linux

推荐大家使用 Linux 服务器进行部署，毕竟大模型的对机器配置还是有一定要求。

裸机部署

step 1: 下载 & 安装

命令行一键下载和安装：

curl -fsSL https://ollama.com/install.sh | sh

如果没有报错，它会提示你 ollama 的默认配置文件地址：/etc/systemd/system/ollama.service

>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 CLI
######################################################################################################### 100.0%######################################################################################################### 100.0%
>>> Making ollama accessible in the PATH in /usr/local/bin
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

如果报错了：

类似下面的问题：

[root@localhost ~]# curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 CLI
curl: (60) SSL certificate problem: certificate is not yet valid                                               
More details here: https://curl.haxx.se/docs/sslcerts.html

curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned 
above.

# 遇到这个问题，是证书存在异常，但具体的原因，应该是你系统的时间与真实时间存在较大差距
# 手动修改linux系统时间后，再次执行命令，即可完成操作安装。

接下来，我们采用如下命令查看下服务状态， running 就没问题了：

[root@localhost ~]# systemctl status ollama
● ollama.service - Ollama Service
   Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
   Active: active (running) since Fri 2024-07-26 14:31:03 CST; 3min 17s ago
 Main PID: 3689 (ollama)
    Tasks: 12
   Memory: 1.2G
   CGroup: /system.slice/ollama.service
           └─3689 /usr/local/bin/ollama serve

7月 26 14:31:03 localhost.localdomain ollama[3689]: ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAINpRgt9Dt/M6AzjxJxER5Nc>
7月 26 14:31:03 localhost.localdomain ollama[3689]: 2024/07/26 14:31:03 routes.go:1125: INFO server config env=>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.342+08:00 level=INFO source=images>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.342+08:00 level=INFO source=images>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.342+08:00 level=INFO source=routes>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.343+08:00 level=INFO source=payloa>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.054+08:00 level=INFO source=payloa>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.054+08:00 level=INFO source=gpu.go>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.253+08:00 level=INFO source=gpu.go>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.253+08:00 level=INFO source=types.>

查看是否安装成功，出现版本号说明安装成功：

[root@localhost ~]# ollama -v
ollama version is 0.3.6
step 2: 服务启动

浏览器中打开：http://127.0.0.1:11434/，如果出现 Ollama is running，说明服务已经成功运行。

[root@localhost ~]# curl http://127.0.0.1:11434
Ollama is running

## 安装后，默认监听的端口只允许本机访问,下面的配置可以修改
[root@localhost ~]#  netstat -anlp| grep 11434
tcp        0      0 127.0.0.1:11434         0.0.0.0:*               LISTEN      3689/ollama
step 3: 修改配置（可选）

如果有个性化需求，需要修改默认配置：

配置文件在：/etc/systemd/system/ollama.service，采用任意编辑器打开，推荐 vim

1、默认只能本地访问，如果需要局域网内其他机器也能访问（比如嵌入式设别要访问本地电脑），需要对 HOST 进行配置，开启监听任何来源IP

[Service]  
Environment="OLLAMA_HOST=0.0.0.0"

2、如果需要更改模型存放位置，方便管理，需要对 OLLAMA_MODELS 进行配置：

[Service] 
Environment="OLLAMA_MODELS=/data/ollama/models"

不同操作系统，模型默认存放在：

macOS: ~/.ollama/models Linux: /usr/share/ollama/.ollama/models Windows: C:\Users\xxx\.ollama\models

3、如果有多张 GPU，可以对 CUDA_VISIBLE_DEVICES 配置，指定运行的 GPU，默认使用多卡。

Environment="CUDA_VISIBLE_DEVICES=0,1"

4、配置修改后，需要重启 ollama

[root@localhost ~]# systemctl daemon-reload   
[root@localhost ~]# systemctl restart ollama

注意：上面两条指令通常需要同时使用：只要你修改了任意服务的配置文件（如 .service 文件），都需要运行systemctl daemon-reload使更改生效。

重启后的端口，局域网内是可以访问的

[root@localhost ~]#  netstat -anlp| grep 11434
tcp6       0      0 :::11434                :::*                    LISTEN      3858/ollama

Docker 部署

我们也介绍下 Docker 部署，无需配置各种环境，相对小白来说，更加友好。

step 1: 一键安装

如果是一台没有 GPU 的轻量级服务器：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

简单介绍下这个命令的参数：

  • docker run：用于创建并启动一个新的 Docker 容器。
  • -d：表示以分离模式（后台）运行容器。
  • -v ollama:/root/.ollama：将宿主机上的 ollama 目录挂载到容器内的 /root/.ollama 目录，便于数据持久化。
  • -p 11434:11434：将宿主机的 11434 端口映射到容器的 11434 端口，使外部可以访问容器服务。
  • –name ollama：为新创建的容器指定一个名称为 ollama，便于后续管理。
  • –restart always：容器在退出时自动重启，无论是因为错误还是手动停止。
  • ollama/ollama：指定要使用的 Docker 镜像，这里是 ollama 镜像。

宿主机上的数据卷 volume 通常在 /var/lib/docker/volumes/，可以采用如下命令进行查看：

[root@instance-20240702-1632 ~]# docker volume ls DRIVER    VOLUME NAME local     dockers_postgres-data local     ollama local     open-webui [root@instance-20240702-1632 ~]# ls /var/lib/docker/volumes/ backingFsBlockDev  dockers_postgres-data  metadata.db  ollama  open-webui

如果拥有 Nvidia-GPU：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

安装成功后，注意要给服务器打开 11434 端口的防火墙，然后浏览器打开 http://127.0.0.1:11434/，如果出现 Ollama is running，说明服务已经成功运行。

curl http://127.0.0.1:11434/
step 2: 进入容器

如何进入容器中执行指令呢？

docker exec -it ollama /bin/bash

参数说明：

  • exec：在运行中的容器中执行命令。
  • -it：表示以交互模式运行，并分配一个伪终端。
  • ollama：容器的名称。
  • /bin/bash：要执行的命令，这里是打开一个 Bash shell。

执行后，你将进入容器的命令行，和你本地机器上使用没有任何区别。

如果不想进入容器，当然也可以参考如下指令，一键运行容器中的模型：

docker exec -it ollama ollama run qwen2:0.5b

如果一段时间内没有请求，模型会自动下线。

2. 使用

2.1 Ollama 常用命令

Ollama 都有哪些指令？
终端输入 ollama：

Usage:     ollama [flags]     ollama [command]      Available Commands:     serve       Start ollama     create      Create a model from a Modelfile     show        Show information for a model     run         Run a model     pull        Pull a model from a registry     push        Push a model to a registry     list        List models     ps          List running models     cp          Copy a model     rm          Remove a model     help        Help about any command      Flags:     -h, --help      help for ollama     -v, --version   Show version information      Use "ollama [command] --help" for more information about a command.

我们翻译过来，和 docker 命令非常类似：

ollama serve # 启动ollama   
ollama create # 从模型文件创建模型   
ollama show  # 显示模型信息   
ollama run  # 运行模型，会先自动下载模型   
ollama pull  # 从注册仓库中拉取模型   
ollama push  # 将模型推送到注册仓库  
ollama list  # 列出已下载模型   
ollama ps  # 列出正在运行的模型   
ollama cp  # 复制模型   
ollama rm  # 删除模型

2.2 Ollama 模型库

类似 Docker 托管镜像的 Docker Hub，Ollama 也有个 Library 托管支持的大模型。

传送门：https://ollama.com/library

从0.5B 到 236B，各种模型应有尽有，大家可以根据自己的机器配置，选用合适的模型
在这里插入图片描述
同时，官方也贴心地给出了不同 RAM 推荐的模型大小，以及命令：
在这里插入图片描述

注：至少确保，8GB的 RAM 用于运行 7B 模型，16GB 用于运行 13B 模型，32GB 用于运行 33B
模型。这些模型需经过量化。

因为我的是一台没有 GPU 的轻量级服务器，所以跑一个 0.5B 的 qwen 模型，给大家做下演示：

[root@localhost ~]# ollama run qwen2:0.5b
pulling manifest 
pulling 8de95da68dc4... 100% ▕████████████████████████████████████████████████▏ 352 MB                         
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████▏  182 B                         
pulling c156170b718e... 100% ▕████████████████████████████████████████████████▏  11 KB                         
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████▏   59 B                         
pulling 2184ab82477b... 100% ▕████████████████████████████████████████████████▏  488 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
>>> 你是谁   
我是来自阿里云的超大规模语言模型——通义千问。我能够理解、生产、传播各种语言和文字，可以回答您在任   何语言或任何问题的问题。      
>>> Send a message (/? for help)

退出方法

如果不想使用大模型，要退出的话，执行Ctrl + d快捷键或者/bye即可

 >>> Use Ctrl + d or /bye to exit.
小白鸽i
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型部署优质项目实战代码.zip
08-18
大模型部署优质项目实战代码.zip大模型部署优质项目实战代码.zip大模型部署优质项目实战代码.zip大模型部署优质项目实战代码.zip大模型部署优质项目实战代码.zip大模型部署优质项目实战代码.zip大模型部署优质项目...
免费Ollama 官方大模型服务器安装程序
04-17
由于官方下载地址是在外网，总是比较慢，所以这里分享一下方便大家下载
本地部署大模型？Ollama 部署和实战，看这篇就够了
u010522887的专栏
07-24 6601
Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。
本地部署大模型？看这篇就够了，Ollama 部署和实战
Everly_的博客
07-29 1466
前几篇，分享的都是如何白嫖国内外各大厂商的免费大模型服务~有小伙伴问，如果我想在本地搞个大模型玩玩，有什么解决方案？Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。
Ollama| 搭建本地大模型，最简单的方法！效果直逼GPT
python1222_的博客
05-25 2462
开源免费：Ollama是一个不收费的开源工具。即插即用：它提供了预装好的大模型，免除了复杂的安装和下载流程。用户友好：即便没有任何技术背景，Ollama也易于上手和使用。跨平台兼容性：Ollama支持各种设备，包括PC、Mac甚至是树莓派。运行各种规模的模型，保证了出色的扩展性。
使用ollama搭建自己的本地中文大语言模型
aolan123的博客
07-16 1471
说到ai,大家应该不陌生了，它应该是目前最火的研究方向之一了，下面是目前比较流行的一些ai(人工智能大模型):openai的chatgptgoogle的GemmaAnthropic的Claude月之暗面的kimi阿里的通义千问百度的文心一言字节跳动的豆包但今天聊的是ollama这个开源框架加上开源模型来实现自己本地的ai。
Ollama：本地部署大型语言模型的全面指南
2401_85390073的博客
08-07 1180
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程 LangChain + Streamlit+ LLaMA 本教程旨在指导开发人员如何在本地部署开源的大型语言模型（LLM），并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。以下是教程中涉及...
大模型大模型部署项目代码.zip
07-26
大模型大模型部署项目代码.zip大模型大模型部署项目代码.zip大模型大模型部署项目代码.zip大模型大模型部署项目代码.zip
ai大模型学习和实践.zip
09-04
3. 实战项目：选取一个或多个项目，如文本生成或问答系统，进行模型训练和部署。 4. 进阶研究：关注最新研究动态，学习前沿技术，如M6、PaLM等超大规模模型。 通过本资料包的学习，你将能够逐步掌握AI大模型的精髓...
Linux 线程的控制 互斥与同步
qq_63145217的博客
08-23 909
include //头文件sem_t sem;信号量的类型 信号量的变量。
多进程和多线程基础概念LINUX
2301_79109608的博客
08-22 1058
直接访问物理地址,会导致地址空间没有隔离,很容易导致数据被修改通过虚拟地址空间可以实现每个进程空间都是独立的，操作系统会映射到不用的物理地址区间，在访问时互不干扰.进程状态分为三个基本状态，即运行态，就绪态，阻塞态。在五态模型中，进程分为新建态、终止态，运行态，就绪态，阻塞态。并发：有限的 cpu 核芯的情况下 ,利用快速交替(时间片轮转)执行来达到宏观上的同时执行。虚拟地址 : 虚拟地址并不代表真实的内存空间,而是一个用于寻址的编号。并行：在 cpu 多核的支持下，实现物理上的同时执行。
Linux自旋锁和读写锁
最新发布
m0_74830524的博客
08-24 755
在前面的文章中我们已经介绍了有关互斥锁的概念与使用，本篇将开始介绍在 Linux 中的自旋锁和读写锁。这三种锁分别用于在不同的应用场景之中，其中互斥锁最为常用，但是我们需要了解一下其他的锁。 对于自旋锁和读写锁都介绍了其原理以及接口使用，并且给出了样例代码。
在Linux上构建Windows应用程序：深入探索跨平台开发的实践与挑战
w651428055的博客
08-21 1092
在Linux上构建Windows应用程序，不仅拓宽了开发者的技能范围，也为软件产品的多平台部署提供了灵活性和成本效益。虽然这一过程面临挑战，但通过合理选择工具、框架和策略，可以有效地克服这些障碍。随着技术的不断进步，跨平台开发将变得更加成熟和便捷，为软件开发带来更多的可能性和机遇。未来，随着更多高效工具和框架的出现，跨平台开发的效率和质量有望进一步提升，为软件工程领域注入新的活力。
【Linux】生产消费模型实践 --- 基于信号量的环形队列
JLX_1的博客
08-21 740
本文实践了生产消费模型，通过基于信号量的环形队列来模拟生产消费的过程！讲解了信号量的相关基础知识！
Linux中信号量相关接口及环形队列
2301_77479435的博客
08-22 326
Linux中信号量相关接口及环形队列
linux定期统计某个目录内每天的文件增量大小
mengbing1990的博客
08-21 194
每天统计一次前一天的日志量大小，并将每个目录的大小记录一份日志。 本测试脚本下，所有目录产生的日志均有固定格式，如每个目录不一样的话，需定义find语句中的name变量。
Linux之RabbitMQ集群部署
m0_54563444的博客
08-21 1397
消息中间件也可以称消息队列，是利用高效可靠的消息传递机制进行异步的数据传输并基于数据通信来进行分布式系统的集成。当下主流的消息中间件有等。Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache顶级项目。Kafka主要特点是追求高吞吐量(单机可达到10万级)时效性是毫秒级的，一开始的目的就是用于日志收集和传输。对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务。
Linux 实用运维sh脚本分享
08-22 268
【代码】Linux 实用运维sh脚本分享。
ollama部署本地大模型
05-27
您好，Ollama是一个基于PyTorch的大规模语言模型，其部署需要进行以下步骤： 1. 下载模型：从Ollama官方网站下载训练好的模型，并将其解压到本地。 2. 安装依赖：安装PyTorch、transformers和flask等必要的Python依赖包。 3. 编写代码：编写一个简单的Flask应用程序，将Ollama模型加载到内存中，并根据用户的输入返回预测结果。 4. 启动应用程序：在命令行中运行应用程序。 5. 进行测试：在浏览器中输入应用程序的地址，测试Ollama模型是否能够正常工作。 相关问题： 1. Ollama是什么？ 2. Ollama如何进行部署？ 3. 如何下载Ollama模型？ 4. Ollama模型需要哪些依赖包？ 5. 如何测试Ollama模型是否能够正常工作？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值