我们来学人工智能 -- deepseek本地可行性分析

原创 已于 2025-02-09 22:58:22 修改 · 置顶 · 1.3k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #Deepseek本地部署分析

于 2025-02-09 13:45:41 首次发布

deepseek本地可行性分析

题记

  • 英伟达NVIDIA：人工智能（AI）时代的超级“卖铲人”
  • 美帝对华的芯片限制，想必也耳熟能详
  • deepseek造成英伟达的高估值恐慌（目前已回升）
    在这里插入图片描述
  • 别bb了，这些对咱们本地部署有关系吗？
  • 真，一点关系都没有，只是和英伟达的GPU有关
  • 为啥？咱就不能用国产芯片，老子就要和美帝脱钩
  • 这，咱目前真没那实力，打电脑查看下显存吧
    • 你看，这就没咱国产啥事！
    • 大吵大闹不要紧，要不您掏点钱也行…
    • “大佬”握紧口袋里的钱包，沉默了…
      在这里插入图片描述

言归正传

  • 为什么是显卡

    • GPU（Graphics Processing Unit），即图形处理器
    • 最初是为图形渲染和显示而设计的，用于加速计算机中图像的处理
    • 只有少量的控制单元和缓存单元，绝大部分的空间用来堆放运算单元
    • 主要负责完成许多计算密集型任务
    • 而对于人工智能的训练来说，需要处理巨量的数据
    • 如用CPU处理这些数据，需要的算力，成本会大到不可想象
    • 而GPU的特点正好符合这样的需求

  • 为什么是英伟达显卡

    • 为什么？技术创新和市场占有率，咱还说啥
    • 排除中美对立的情绪，事实是，在创始人兼CEO黄仁勋的带领下，英伟达不段创新突破行业天花板，开发出一代又一代颠覆行业的标杆产品

  • 英伟达显卡选择

    • RTX 3070及以上型号的显卡
      • 由于较高的性能和较大的显存，能够支持 DeepSeek 模型的运行
    • RTX 3090有24GB 显存，运行14B、32B规模的模型，能提供较为流畅的运行体验
    • RTX 40 系列或RTX 50系列，性能强劲，支持各种规模的DeepSeek模型
    • 显卡显存较小，如只有 1GB 左右，那么选择 1.5B
    • 如有 8GB 显存，可尝试 7B、8B 模型，满足模型运行需求时，发挥显卡性能

  • dp-r1对应显卡需求

    deepseek-r1:1.5b——1-2G显存
deepseek-r1:7b——6-8G显存
deepseek-r1:8b——8G显存
deepseek-r1:14b——10-12G显存
deepseek-r1:32b——24G-48显存
deepseek-r1:70b——96G-128显存
deepseek-r1:671b——至少496GB

  • 好了，很尴尬的是，咱本地是RTX 2060

  • 但从内存上看，或者还是有希望的
    在这里插入图片描述

结尾

  • 人工智能普及化的时代已经到来
  • DP降低训练费用
  • 中国有全产业链
  • 第四次工业革命的爆发将是中国引领
    在这里插入图片描述
大模型——提升自然语言转换为 SQL 查询（NL2SQL）准确度的探索-- LLaMA-Factory 蒸馏 DeepSeek 模型的方法介绍
03-27 794
提升自然语言转换为 SQL 查询可能的3个方向有：1. Prompt 工程，以用户角色提供充足的上下文信息；2. 建设知识库，以系统角色提供上下文信息；3. 增强模型的NL2SQL能力。在第3个方向上，我们发现：本地部署的 deepseek-r1:32b 的 NL2SQL 的准确度与满血版的在线 deepseek-r1:671b 存在较大差距。这说明模型能力会影响 NL2SQL 准确性。本文通过蒸馏 DeepSeek 模型，探索：通过提升模型专业能力，能够提高 NL2SQL 的准确度。
我们来学人工智能 -- 本地知识库(文本向量化)
一起学Coding
02-23 684
搭建本地知识库
Windows中使用Docker安装Anythingllm，基于deepseek构建自己的本地知识库问答大模型，可局域网内多用户访问、离线运行
百年孤独百年的博客
02-12 8597
本文介绍了如何在 Windows 系统的 CMD 中使用 Docker 安装 AnythingLLM，并搭建自己的知识库问答大模型
我们来学人工智能 -- 本地部署DeepSeek
一起学Coding
02-09 1079
本地部署deepseek
DeepSeek本地部署之deepseek-r1-distill-llama-70b 本地部署与 AI 应用实践
m0_60674045的博客
02-08 1万+
已更新实测有效的硬件配置方案。近年来，大型语言模型（LLM）的快速发展为企业数字化带来了前所未有的机遇。然而，中小企业在使用诸如 GPT-4 这类云端大模型服务时，往往面临数据隐私、使用成本和网络依赖等方面的挑战。本地化部署大型模型成为一种趋势：将模型部署在企业自己的服务器上，数据不出内网，既保证了敏感信息的安全，又能根据企业需求对模型进行定制优化。是一款备受关注的开源大语言模型，参数规模高达 700 亿。作为 DeepSeek 系列的高性能版本，它在多个基准测试中表现出色。
我们来学人工智能 -- DeepSeek客户端
一起学Coding
02-22 449
deepseek客户端
deepseek-ai/DeepSeek-V3
2403_86893713的博客
01-03 5609
架构：创新的负载均衡策略和训练目标除了 DeepSeek-V2 的高效架构之外，我们还开创了一种用于负载均衡的辅助无损策略，该策略可以最大限度地减少因鼓励负载均衡而引起的性能下降。我们研究了多标记预测 （MTP） 目标，并证明它对模型性能有益。它还可用于推理加速的推测解码。训练前：迈向终极训练效率我们设计了一个 FP8 混合精度训练框架，并首次在超大规模模型上验证了 FP8 训练的可行性和有效性。
一文搞懂DeepSeek - DeepSeek-R1-Zero和DeepSeek-R1
youmaob的博客
04-14 1192
DeepSeek-R1是由深度求索（DeepSeek）公司研发的一款开源推理大模型，旨在提升复杂任务的推理能力，尤其在数学、代码和自然语言推理领域表现突出。该模型采用强化学习技术进行后训练，显著提升了推理性能，并在多个基准测试中与OpenAI的o1模型比肩。‌1.1、技术特点‌‌强化学习后训练‌：DeepSeek-R1通过大规模强化学习技术进行后训练，仅需少量标注数据即可显著提升模型性能。这一技术为大型语言模型的训练提供了新思路。‌完全开源‌。
DeepSeek-AI团队开源的DeepSeek-OCR模型
这里是数字化与人工智能的 “实验场” 与 “瞭望台”
10-20 1343
DeepSeek-OCR的价值远超一款OCR工具：其"视觉压缩"范式重新定义了视觉与语言模态的协同关系，证明了视觉token可作为高效的信息载体解决长文本处理瓶颈。对于开发者而言，3B参数量的轻量化设计降低了应用门槛；对于行业而言，这种创新为智能文档处理、LLM内存优化等领域开辟了新路径。随着开源生态的完善，DeepSeek-OCR有望在金融、科研、教育等场景实现规模化落地。Github仓库：https://github.com/deepseek-ai/DeepSeek-OCR。
LLMs之MoE之DeepSeek-V3：DeepSeek-V3的简介、安装和使用方法、案例应用之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-27 3万+
​ LLMs之MoE之DeepSeek-V3：DeepSeek-V3的简介、安装和使用方法、案例应用之详细攻略 目录 DeepSeek-V3的简介 DeepSeek-V3的安装和使用方法 DeepSeek-V3的案例应用 DeepSeek-V3的简介 DeepSeek-V3 是一个拥有671B 个总参数，每个 token 激活 37B 参数的强大混合专家 (MoE) 语言模型。为了实现高效的推理和经济高效的训练，DeepSeek-V3 采用了在 DeepSee
DeepSeek-V3与DeepSeek-R1全面解析：从架构原理到实战应用
来了波，兄嘚
04-08 2958
DeepSeek-R1是深度求索公司推出的高性能推理专用模型，代表了当前开源推理模型的顶尖水平。作为DeepSeek-R1的基础，DeepSeek-V3同样采用MoE架构，但在设计定位上更偏向通用语言任务。DeepSeek-V3和R1代表了当前开源大语言模型的顶尖水平，其创新架构和高效训练方法为AI社区提供了宝贵资源。
AI技术领域-本地化部署DeepSeek大模型的应用与挑战分析及解决方案
03-08
内容概要：本文档针对大模型特别是DeepSeek在本地环境中的部署展开了详尽讨论，涵盖是否有必要进行本地化部署的问题、对于不同硬件条件下部署可行性的解释，以及具体实现过程中可能遇到的速度、效能问题的对策，并...
【人工智能模型部署】DeepSeek本地化部署全流程：从Ollama安装到多界面应用实践指南了文档的核心内容
06-26
内容概要：本文档详细介绍了DeepSeek大模型的本地化部署流程，包括安装Ollama工具、选择并安装合适大小的DeepSeek模型（推荐7B版本）、安装图形界面ChatBox以及浏览器插件等步骤。整个过程虽稍显繁琐，但按照指南...
Spring AI + DeepSeek实现智能办公应用
honor_zhang的博客
07-25 1042
摘要：本文介绍了如何利用SpringAI框架与DeepSeek大模型构建智能办公应用，实现会议室信息查询、空闲会议室查询和预定功能。通过@Tool注解定义工具方法，结合Prompt模板和大模型的语言理解能力，将自然语言查询转化为标准操作。系统采用SpringAI的ChatClient组件实现统一模型交互接口，支持上下文管理和函数调用，并集成了日期转换等工具方法。该方案展现了Java生态下AI应用开发的可行性，为传统表单填写工作提供了对话式替代方案，显著提升了办公效率。
黄仁勋GTC开场：「AI-XR Scientist」来了！
2501_94005722的博客
11-20 1019
丛乐 (Le Cong)，斯坦福大学医学院病理学系和遗传学系教授。他被公认为是 CRISPR 基因编辑领域的奠基人之一。早在哈佛大学攻读博士学位期间，丛乐在导师张锋（Feng Zhang）和乔治・丘奇（George Church）的指导下，作为第一作者在 Science, Cell, Nature 杂志上发表了数篇标志性论文，首次证实 CRISPR/Cas9 系统可以在哺乳动物和人类细胞中实现基因编辑，为这一革命性技术的后续应用奠定了基石。
传统NLP算法
记录成长‌，知识沉淀，连接同行‌
11-19 610
传统NLP算法与当前大模型的对比分析 传统NLP算法主要基于规则和统计模型（如HMM、CRF、SVM），依赖人工特征工程和领域知识，适合特定任务但泛化能力有限。其优势在于可解释性强、计算资源需求低。典型应用包括分词、命名实体识别和文本分类等。 现代大模型（如Transformer架构LLM）采用预训练-微调范式，通过海量数据自动学习语言表示，具备强大的生成能力和跨任务迁移性。它们能处理复杂任务如对话生成和多语言翻译，但需巨额计算资源。 二者存在技术演进关系：大模型继承了传统NLP的核心思想，但通过深度学习实
基于华为开发者空间实现花卉识别
CSDN高校俱乐部官方博客
11-21 1049
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
最新发布
2501_94114442的博客
11-21 436
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
创客匠人 2025 高峰论谈（11.22-25）：AI 智能体重构创始人 IP 打造与知识变现的管理逻辑
ckjrxx的博客
11-20 612
这一 “数据化定位逻辑”，将在。创客匠人峰会筹备阶段强调，AI 智能体的核心意义是 “解放人”—— 将创始人从机械性工作中解放，专注知识体系迭代、用户信任构建等核心价值创造，让知识变现从 “个人生意” 升级为 “企业级业务”。创始人 IP 定位的核心是 “找到市场需求与核心能力的交集”，传统模式本质是 “个体直觉管理”，而 AI 智能体通过数据化管理思维，将定位转化为可量化、可追溯的流程。这些问题本质是企业管理中 “个体能力” 与 “系统效率” 的失衡，而 AI 智能体的出现，正从管理底层重构这一逻辑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UCoding

说话好听~~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值