ollama使用gpu运行大模型

已于 2025-05-21 23:04:43 修改
阅读量325 收藏
点赞数 3
分类专栏： RAG 文章标签： ollama qwen2
于 2025-05-21 23:04:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46028606/article/details/148126027
版权

罗列ollma镜像

ollama list

拉取ollama镜像源里面的模型：

ollama pull qwen2:1.5b

下载CudaToolkit
https://developer.nvidia.com/cuda-toolkit-archive
我这里选择11.7的万金油版本，从来没出过bug
在这里插入图片描述

Ollama安装好后，为了让推理跑在GPU上，可以按照如下步骤 设置环境变量：
在“系统变量”中，点击“新建”按钮。
添加以下环境变量：
变量名：OLLAMA_GPU_LAYER
变量值：cuda
在这里插入图片描述
验证是否使用gpu
问几个比较复杂的问题然后再另外一个命令行窗口输入命令

ollama ps

窗口1
在这里插入图片描述
窗口2
在这里插入图片描述
可以看见，我们使用到了gpu，并且很神速

或者看一下任务管理器的gpu运行情况也行，如果利用率很高说明用到了gpu

【Go】Go语言介绍与开发环境搭建
热门推荐
景天科技苑
09-10 4万+
Go（又称Golang）是Google开发的一种静态强类型、编译型、并发型，并具有垃圾回收功能的编程语言。Go语言的主要目标是“让编写可信赖软件变得简单且有趣”。 Go语言设计者有三个主要目标：简单性，并发性，兼容性。 本文详细阐述Go语言，以及Go开发环境搭建详细流程。
GO基础--依赖管理
m0_72747613的博客
07-31 258
对于多人协作的项目来说，管理项目的依赖包，记录版本，获取和存放依赖包等工作会变得更加复杂。从某种意义上说，蛮鸡肋的。
Golang 必知必会Go Mod命令
猫轻王的博客
03-15 2万+
通过以上可以轻松了解在Golang中go mod的使用方式。Go mod提供了一系列操作modules的命令，所有的go命令中现在已经内置了对module的支持，而不仅仅是go mod命令。例如使用go get时，会经常自动在后台添加、移除、升级、降级依赖包版本。
go mod常用命令
zyecust的博客
07-29 1214
1 介绍（go mod） 1.1、go mod是什么 go mod 是Golang 1.11 版本引入的官方包（package）依赖管理工具，用于解决之前没有地方记录依赖包具体版本的问题，方便依赖包的管理。 之前Golang 主要依靠vendor和GOPATH来管理依赖库，vendor相对主流，但现在官方更提倡go mod。 1.2、go mod初始化及使用 下载官方包1.11(及其以上版本将会自动支持gomod) 默认GO111MODULE=auto(auto是指如果在gopath下不启用mo
go mod 包管理工具使用
QiuHaoqian的博客
06-16 726
常用命令 go mod init # 初始化go.mod go mod tidy # 更新依赖文件 go mod download # 下载依赖文件 go mod vendor # 将依赖转移至本地的vendor文件 go mod edit # 手动修改依赖文件 go mod graph # 打印依赖图 go mod verify # 校验依赖 go module介绍 go module是go官方自带的go依赖管理库,在1.13版本正式推荐使用 go m
go mod基本使用
绝圣弃智-零的博客
03-31 657
go mod用来对包进行管理，在Go v1.13默认开启。 初始化 mkdir ~/goPrj/gomodTest go mod init gotest.com/v1 在根目录下会生成一个go.mod文件 添加测试代码，生成新文件gintest.go package main import ( "net/http" "github.com/gin-gonic/gin" ) func main() { ginServ := gin.Default()
go mod tidy 提示错误 go mod tidy -go=1.16 && go mod tidy -go=1.17
weixin_48536164的博客
08-29 7183
go mod tidy 提示错误 To upgrade to the versions selected by go 1.16: go mod tidy -go=1.16 && go mod tidy -go=1.17 If reproducibility with go 1.16 is not needed: go mod tidy -compat=1.17 For other options, see: https://golang.org/doc/modules/pruning....
Go语言学习笔记.pdf 共174页
04-11
本笔记共分为三大部分：Go语言基础、标准库和扩展库。 Go语言基础 在Go语言基础部分，作者详细介绍了Go语言的基础知识，包括变量、基本类型、类型转换、常量、字符串、运算符、指针、保留字、控制结构、自定义类型...
go语言电子书.zip
04-01
Go语言，又称为Golang，是由Google公司开发的一种静态类型、编译型、并发型且具有垃圾回收功能的编程语言。它由Robert Griesemer、Rob Pike及Ken Thompson三位开发者设计，旨在提高软件的构建效率和可维护性，特别...
学习 Go 语言(Golang)
01-26
Go 语言，也被称为 Golang，是由 Google 的 Robert Griesemer、Rob Pike 和 Ken Thompson 在 2007 年设计的一种静态类型的编程语言。它旨在提供高效的开发体验，同时保持简洁的语法和内置的并发支持。Go 语言在...
Go语言15套教程（百度网盘）
10-25
### Go语言15套教程知识点概述 #### 01 Go语言基础（一） - **Go语言简介**：介绍Go语言的发展历史、设计理念及其优势特点。 - **环境搭建**：指导如何在Windows/Linux/MacOS环境下安装Go语言环境，并配置环境变量...
详解go语言包管理方式(go mod), 分析多目录多文件下的管理，不同工程下包的相互调用
QNBZ的博客
12-08 1万+
一遇到包调用问题就无法运行程序？GO111MODULE不知道怎么设置？gopath和goroot的区别？go mod tidy好处？vscode点击install总是失败，go build介绍
如何整理go的依赖包
yezhijing的专栏
11-09 506
如何整理go的依赖包 The go.mod file for the module providing named packages contains one
Go mod常用与高级操作
剑心！的博客
05-31 613
1. 开启Go module 1.11和1.12版本 将下面两个设置添加到系统的环境变量中 GO111MODULE=on GOPROXY=https://goproxy.io 1.13版本之后 这种方式并不会覆盖之前的配置，需要先把系统的环境变量里面的给删掉再设置 go env -w GO111MODULE=on go env -w GOPROXY=https://goproxy.cn,https://goproxy.io,direct 2. go get使用 使用go module之后，go get
正在或即将被使用的Go依赖包管理方法：Go Modules，Go 1.13的标准特性
chichitai7025的博客
07-12 266
公众号原文地址：https://mp.weixin.qq.com/s/SGGV3tWEg5AAJ7I_FcK0cg 目录 目录 说明 初始化 依赖包的默认导入 依赖包的特定版本导入 查看已添加依赖 依赖包的存放管理 依赖包的...
go mod 详解
jkzyx123的博客
11-07 977
在 Go 中，go mod是管理依赖和模块的工具，从 Go 1.11 开始引入模块系统，并在 Go 1.13 后成为默认的包管理方式。它通过go.mod文件来定义项目的依赖，使得依赖管理和版本控制更加稳定和便捷。以下是go mod。
go.mod文件中的Replace命令
最新发布
LuckyLay的博客
12-19 754
在Go模块（Go Modules）创建的项目中，go get命令和replace命令是管理依赖项的两个重要工具。
【Go语言入门】一文搞懂Go语言的最新依赖管理：go mod的使用
Sihang_Xie的博客
05-18 1万+
一文搞懂Go语言的最新依赖管理：go mod的使用 2.1 背景 Go 依赖管理的演进经历了以下 3 个阶段： 目前被广泛应用的是 Go Module，整个演进路线主要围绕实现两个目标来迭代发展： 不同环境 (项目) 依赖的版本不同； 控制依赖库的版本。 2.2 Go 依赖管理的演进 2.2.1 GOPATH GOPATH 是 Go 语言支持的一个环境变量，是 Go 项目的工作区。其目录有以下 3 个结构 (需要手动创建文件夹)： 文件夹 作用 bin 项目编译的二进制文件 pk
golang语言学习（1）
LeonNo11的博客
01-09 1089
Go Mod为go语言官方的包管理工具，用于管理项目的依赖关系，方便开发者引入和管理第三方包。支持指定版本号或者安装最新版本的包，通过配置文件来管理项目的依赖关系和版本信息。Go Mod的主要用途是协助代码的开发，开发人员可以方便的引入需要的第三方组件。但是对于引入的第三方组件的依赖管理，开发人员要明确具体直接和间接依赖到了那些组件，则需要使用go list命令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hwg985

祝老板生意兴隆，财源广进

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值