【AI学习指南】轻量级模型-用 Ollama 轻松玩转本地大模型

最新推荐文章于 2025-03-29 11:33:57 发布
最新推荐文章于 2025-03-29 11:33:57 发布
阅读量1.6k 收藏
点赞数
分类专栏： AI学习指南 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44695727/article/details/138810553
版权

目录

探索

最小的AI模型

发现

其他轻量级模型

用 Ollama 轻松玩转本地大模型

本地大模型

Ollama

快速上手

安装

手动安装

下载ollama二进制文件

添加 Ollama 作为启动服务（推荐）

安装 CUDA 驱动程序（可选 - 适用于 Nvidia GPU）

安装 ROCm（可选 - 对于 Radeon GPU）

开始

下载模型

Web工具

推荐模型

图片支持

自定义系统提示词

更多选项

结语

探索

最小的AI模型

发现

其实最近受限于个人电脑配置和工作经历，对AI的探索几乎停滞了下来，直到今天无意中看到了这个

本来以为是个噱头，大家都知道模型越大，参数越多，性能就更好，同样的对硬件的要求就越高，只是看热闹似的搜索了下

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Ollama实战指南：从零到本地大模型部署与多场景应用
TechEnthusiast的博客
02-05 532
Ollama为本地大模型部署提供了极简的解决方案，无论是开发者、研究者还是企业，均可通过它快速构建私有化AI能力。未来，随着开源模型的不断进化，Ollama或将成为AI民主化进程中的关键工具。Ollama是一个专为本地运行大模型设计的工具，支持LLaMA、Mistral、DeepSeek、通义千问等主流开源模型。它通过容器化和自动化管理，简化了模型下载、运行和交互的流程，用户仅需命令行即可操作。作为一款开源工具，凭借其轻量化、易用性和跨平台支持，成为本地部署大模型的利器。Ollama默认开放端口。
本地大模型-使用Open WebUI页面关联Ollama和Stable Diffusion可视化问答及画图/Ollama常用命令
瑶山的博客
02-16 189
打开图像生成开关，选择默认模型保存后回答下面会有生成图像按钮。可以使用docker，安装更方便。打开设置-管理员设置。
ollama模型CPU轻量化部署
weixin_40777649的博客
06-17 3830
ollama 定义环境部署demo加载本地模型方法基本指令关闭开启ollamaollama 如何同时 运行多个模型, 多进程ollama 如何分配gpu修改模型的存储路径。
Meta最新开源大模型LLaMA 3.1，表现惊艳！
m0_65555479的博客
02-17 760
通过以上测试可以看出，LLaMA 3.1:8B虽然是参数最小的版本，但已经展现出相当强大的能力。对于有高性能需求的用户，70B和405B版本将会提供更强的计算能力和更准确的回答。在未来，随着LLaMA系列模型的不断优化，我们可以期待它在更多领域中的应用和表现。希望这篇文章能够帮助大家了解LLaMA 3.1的强大之处。
ollama 使用自己的微调模型
热门推荐
spiderwower的博客
05-12 4万+
微调大模型的方法，这里不展开说，我使用的lora微调方法。微调大模型需要比较高的显存，推荐在云服务器上进行训练，系统环境为linux。
Ollama创建微调模型
qq_51279133的博客
06-08 3564
converted.bin为上一步转换模型得到的文件，quantized.bin为量化后的文件，q4_0为量化选项表示使用 4bit 量化（官方推荐），当然还有很多的量化选项，具体参见。这里只需要将 Modelfile 中 FROM 后面的文件路径替换为模型文件的目录即可，my-llama3是自定义的在 ollama 中的模型名称。，具体用哪个脚本进行转换我没有找到官方文档说明，建议一个不行就试另一个，在我使用过的模型中llama3 8b和 qwen 7b都是需要使用。
Ollama轻量化部署：纯CPU环境运行大模型全解析
最新发布
aolan123的博客
03-29 1016
Ollama可以在本地CPU非常方便地部署许多开源的大模型。如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。本文将按照如下顺序介绍Ollama的使用方法~⚫️ 下载安装Ollama⚫️ 命令行交互⚫️ python接口交互⚫️ jupyter魔法命令交互。
使用ollama离线部署小模型
weixin_45592677的博客
05-10 1373
【代码】使用ollama离线部署小模型。
本地玩转大语言模型：Ollama 超详细指南
qq_73376107的博客
02-02 1万+
本地玩转大语言模型：Ollama 超详细指南
本地部署DeepSeek 67B大模型实战指南：Hugging Face与Ollama双方案解析 —— 从企业级到轻量化，手把手教你玩转百亿参数模型
2302_80643506的博客
02-15 1103
近年来，大语言模型（LLM）的本地部署成为开发者与企业关注的核心课题。DeepSeek 67B作为国产顶尖开源大模型，凭借其强大的生成能力与多场景适配性，成为众多开发者的首选。然而，其庞大的参数规模（约260GB）与高硬件需求，也让部署过程充满挑战。：Ollama方案可通过量化大幅降低显存需求（最低单卡24GB即可运行）！：本文为博主原创文章，未经博主允许禁止转载。：欢迎在评论区分享你的部署经验或遇到的难题，共同探讨优化方案！，覆盖从企业级生产环境到个人开发的完整链路，助你轻松避坑！
在Windows本地部署DeepSeek-R1模型全指南 ——基于Ollama的轻量化实现
一定要站在自己热爱的生活里闪闪发光
02-18 982
也可在浏览器输入http://localhost:11434/，若显示“Ollama is running”也可说明安装成功。（3）迁移已有模型：将原目录C:\Users<用户名>.ollama\models内容复制到新路径。下载完成后，可以在命令行输入你的问题，如果输出思考内容及答案，说明模型部署成功。（1）退出Ollama（右键任务栏图标→Quit Ollama）变量值：自定义路径（如D:\software\Models）3. 修改默认模型存储位置（如不想自定义，可跳过此步骤）。
在Ollama中使用Llama3.2视觉模型-使用DeepSeekCoder工具
tpriwwq的专栏
11-16 4160
2024年11月6日，Ollama发布了0.4版本，新增支持在本地加载和运行Llama3.2视觉模型，包括11B和90B两个大小的版本。
Ollama 0.4 版本发布，支持 Llama 3.2 Vision 视觉模型，实测满足个人使用
机器学习与系统
11-07 1508
更新信息最大的更新莫过于对 Llama 3.2 Vision 视觉模型的支持！ollama 的版本也因此从v0.3.14直接升级到v0.4.0。升级 ollama 后，运行如下命令体验#默认运行11B大小模型 ollamarunllama3.2-vision #运行90B大小模型，需要显存支持 ollamarunllama3.2-vision:90b支持 Llama 3.2 V...
Ollama 运行视觉语言模型LLaVA
新缸中之脑
10-05 1705
这些模型有三种参数大小。
本地部署大模型？Ollama 部署和实战，看这篇就够了
u010522887的专栏
07-24 3万+
Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2478
TensorFlow相关组件的安装
用 Ollama 轻松玩转本地大模型
m0_54050778的博客
12-28 1万+
而作为价值约 8 美元/月的 Raycast AI 的平替，Raycast Ollama 实现了 Raycast AI 的绝大多数功能，且随着 Ollama 及开源模型的迭代，还将支持多模态等 Raycast AI 不支持的功能，可谓潜力无限。以 4-bit 量化为例，其将原本 FP16 精度的权重参数压缩为 4 位整数精度，使模型权重体积和推理所需显存均大幅减小，仅需 FP16 的 1/4 至 1/3，意味着约 4GB 显存即可启动 7B 模型的推理（当然实际显存需求会随着上下文内容叠加而不断增大）。
Ollama 导入自定义模型
偶尔记一下 - mybatis.io
04-03 8464
在前面 Spring AI 使用本地 Ollama Embeddings 中查找 Embedding 模型的时候，首先看到了 mofanke/dmeta-embedding-zh 模型，这才发现 Ollama 中除了官方模型外还有用户自己上传的其他模型，搜索 dmeta-embedding-zh 找到了抱脸网上的对应模型：https://huggingface.co/DMetaSoul/Dmeta-embedding-zh模型介绍有 MTEB Chinese list 评分排名，打开该地址可以看到排名：
如何自己构建 Ollama 模型
engchina的专栏
03-23 9614
如何自己构建 Ollama 模型
ollama模型下载deepseek太慢了
02-08
### 加快Ollama模型DeepSeek下载速度的方法 为了提高Ollama模型DeepSeek的下载效率，可以考虑以下几个方面： #### 使用高速网络连接 确保使用的互联网连接具有较高的带宽和较低的延迟。如果可能的话，在靠近数据中心的位置进行下载操作能够显著减少传输时间。 #### 配置代理服务器或镜像站点 当官方源的速度较慢时，查找是否有可用的第三方镜像站点提供相同版本的预训练权重文件。另外，对于企业内部环境来说，设置HTTP/HTTPS代理也可能有助于加速外部资源获取过程[^1]。 #### 并行多线程下载工具 利用支持断点续传特性的FTP/SFTP客户端软件或多线程HTTP(S)下载管理器（如`aria2c`, `wget --continue`），这些工具可以在多个连接上同时拉取数据片段从而提升整体吞吐量。 ```bash # Aria2 example command line usage with multiple connections per server (-x option) aria2c -x 16 https://example.com/path/to/deepseek_model.pt ``` #### 提前准备存储空间并优化磁盘性能 提前分配足够的本地硬盘空间给目标路径，并确认该分区不存在碎片化问题；如果是SSD固态驱动器，则应关闭不必要的后台程序和服务以降低随机写入放大效应带来的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

瑶山

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值