还在为本地部署DeepSeek大模型发愁吗?
今天给大家介绍一个超强神器 - Ollama!从只有135m参数的“迷你怪兽”,到671B参数的“地球最强AI”,你都能一键拥有!
没错,这个工具已经在GitHub上获得了惊人的12.9万Star!
它到底有多强?看看这个数据:比DeepSeek-V3的8.75万Star还要高出整整一个量级!
Ollama究竟是什么?
一句话:Ollama让你一键驾驭全球顶级大模型!
从DeepSeek-R1到Qwen,再到Llama 3.3、Phi-4、Gemma 2,啥都有!
官网直达:https://ollama.com/
三大核心功能,一个都不能少:
- 软件下载:一键安装部署
- 模型库:海量顶级模型任你选
- 社区互动:加入Discord论坛(要魔法上网)
超强AI模型库大揭秘
打开ollama模型库(https://ollama.com/library),
最吸睛的当属DeepSeek-R1!
为什么?因为DeepSeek太强了呗hh!
从1.5B到671B参数,29种不同部署方案,总有一款适合你!
除了DeepSeek-R1,这些模型也超级给力:
1. DeepSeek全家桶
不只是R1,DeepSeek还有超多实力派:
- DeepSeek-V3:通用智能王者
- DeepSeek-Coder:代码领域专家
- DeepSeek-Coder-V2:最新升级版
2. 国产之光:阿里Qwen
Qwen2.5系列绝对是实力担当!从0.5B到72B全系列覆盖,性能超强,部署超易!
3. 最迷你大模型:Smollm2
只有135M参数,比Qwen2.5最小版本还要小一半多!完美适配端侧部署!
(小提示:中文场景建议选择Qwen2.5,外国模型中文支持普遍偏弱)
超简单!三步上手搞定AI
Step 1:轻松安装
首先打开官网,选择适合你电脑的安装包:
- Windows系统:点击下载Windows版
- Mac系统:选择macOS版本
- Linux用户:直接选Linux版
🔥下载太慢?国内专属通道:
链接:https://pan.baidu.com/s/1dlMY-Y-XW2lhbC8Bz9vaTg?pwd=gefg
提取码: gefg
下载后双击安装程序,一路点"下一步"就行,完全不用担心设置问题!
Step 2:简单配置
安装完成后,你会看到这个界面:
这时会弹出一个框问你"是否允许安装到命令行",选"允许"就对了!
Step 3:开启AI之旅
接下来重点来了!我们要打开"命令行":
- Windows用户:按Win+R,输入cmd,回车
- Mac用户:在启动台找到"终端"(Terminal)
- 实在找不到?直接按Command+空格,搜"终端"也行!
系统默认给了个命令:ollama run llama3.2
但这个模型中文不太行,我们换个更厉害的!
DeepSeek-R1实战攻略
1. 选择合适的模型
打开模型库,找到DeepSeek-R1。这里的选择很关键:
- 1.5B版本:只要1.1GB空间,适合初次体验
- 7B版本:4GB左右,性能更好,推荐日常使用
- 671B版本:需要404GB,土豪专属!
新手建议:先试试1.5B版本,熟悉了再升级!
2. 下载运行
在命令行输入:ollama run deepseek-r1:1.5b
等待下载开始:
看到"success"就是成功啦!如果下载特别慢,可以Ctrl+C中断重试。
3. 实测体验
让我们问问:“世界上最高的山峰是?”
1.5B版本的回答:
咦?这回答怎么还带"新疆"?这就是小模型的问题了:
- 容易产生幻觉(说错地理位置)
- 中英文混杂
- 回答不够精确
别担心!换个7B版本试试:
完美!回答准确、清晰、专业!
4. 如何优雅退出
聊完了想退出?超简单! 输入/bye,按回车就行!
💡小贴士:
为什么要在自己电脑本地部署大模型?
- 数据安全:所有对话都在本地,避免敏感信息泄露
- 低成本:一次部署,永久使用,不用付费
- 高自由度:想怎么改就怎么改,完全掌控在自己手中
- 离线使用:不依赖网络,随时随地都能用
使用小贴士:
模型选择建议:
- 电脑配置一般:就选1.5B
- 8G以上内存:建议上7B
- 高配电脑:可以试试更大的模型
常见问题:
- 下载慢:可以多试几次
- 运行卡顿:选择更小的模型
- 回答不准:换大模型就好
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。