14、deepseek视觉大模型Janus Pro本地部署及实战

最新推荐文章于 2025-02-28 10:30:00 发布
最新推荐文章于 2025-02-28 10:30:00 发布
阅读量1.8k 收藏 18
点赞数 22
分类专栏： 大模型学习 文章标签： deepseek junas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andy_shenzl/article/details/145636873
版权

1、简介

2025.01.27： Janus-Pro发布，Janus的高级版本，显著提高了多模态理解和视觉生成。
Janus-Pro 是 Janus 的高级版本。具体来说， Janus-Pro 包括以下改进：优化的训练策略、 扩展的训练数据以及更大规模的模型。通过这些改进， Janus-Pro 在多模态理解和文本生成图像的指令跟 随能力上取得了显著进步，同时还提升了文本生成图像的稳定性。

git连接
在这里插入图片描述
Janus 是一种新颖的自回归框架，它统一了多模态理解和生成。它通过将视觉编码解耦为单独的路径来解决以前方法的局限性，同时仍然使用单一、统一的 transformer 架构进行处理。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，也增强了框架的灵活性。Janus 超越了以前的统一模型，并达到或超过特定于任务的模型的性能。Janus 的简单性、高度灵活性和有效性使其成为下一代统一多模态模型的有力候选者。

Janus模型运行硬件要求，Janus Pro对硬件要求较低，以下是1B模型和7B模型运行的GPU显存占用情况：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【多模态大模型实战】 搭建DeepSeek Janus-Pro 7B 多模态模型，以及推理微调，推理后的模型融合
m0_47867638的博客
02-07 2353
Janus-Pro是DeepSeek最新开源的多模态模型，是一种新颖的自回归框架，统一了多模态理解和生成。通过将视觉编码解耦为独立的路径，同时仍然使用单一的、统一的变压器架构进行处理，该框架解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus-Pro 超过了以前的统一模型，并且匹配或超过了特定任务模型的性能。
CogVLM视觉大模型本地部署跑起来
weixin_45956506的博客
04-22 776
刚开始我没注释模型后三个，THUDM/cogagent-chat-hf | THUDM/cogvlm-chat-hf | THUDM/cogvlm-grounding-generalist-hf，显示报错cuda内存不够，后来我想着一个个的运行会好点，第一个模型运行就出来网页了。CogVLM-main/composite_demo/client.py下的四个模型文件（我只下载了前俩个，根据需要下载）搜索复制粘贴过去，最好是一样的，具体的根据情况选择。下载完项目，需要手动下载模型，在线下载很慢。
本地部署DeepSeek 多模态大模型Janus-Pro-7B
热门推荐
weixin_44626085的博客
01-31 1万+
在众多AI模型中，Janus-Pro-7B犹如一颗耀眼的星星。它代表了理解与生成一体化的新纪元。想象一下，它不仅能够理解文本，还能生成高质量图像，甚至可以回答复杂问题。这可不仅仅是“高科技”标签所涵盖的那么简单。视觉问答的准确率超越了著名的GPT-4V，真可谓是“问答王”。在图像生成的质量上，它的表现超越了DALL·E3与Stable Diffusion 3，简直像是“艺术家的助手”。它的高效推理能力使得单卡运行成为可能，这对于资源有限的个人或企业来说，无疑是一次福音。
调用硅基流动API生成图像：使用DeepSeek-AI的Janus-Pro-7B模型（该模型限免）
m0_72606784的博客
02-28 1148
硅基流动是一个提供多种AI模型接口的平台，允许开发者通过简单的API调用来使用先进的AI技术。通过硅基流动，用户可以轻松地集成如Janus-Pro-7B这样的高级模型到自己的应用或服务中。Janus-Pro-7B是DeepSeek-AI开发的一个基于深度学习的图像生成模型。该模型能够根据输入的文本描述生成高质量的图像，广泛应用于艺术创作、广告设计、游戏开发等领域。通过硅基流动API调用DeepSeek-AI的Janus-Pro-7B模型，开发者可以轻松地将先进的图像生成技术集成到自己的应用中。
Deepseek发布的Janus-Pro-1B初体验
m0_57610007的博客
01-28 4350
deepseek，Janus-Pro-1B快速上手
联想Y7000+RTX4060+i7+Ubuntu22.04运行DeepSeek开源多模态大模型Janus-Pro-1B+本地部署
hzm8341的博客
01-29 3031
在笔记本电脑上手搓Deepseek最近开源的多模态大模型。
DeepSeek-VL2实战指南：一步步构建您自己的智能视觉问答系统！
SJJS_1的博客
02-07 3518
DeepSeek-VL2，这是一系列先进的大型混合专家 (MoE) 视觉语言模型，其显著改进了其前身 DeepSeek-VL。DeepSeek-VL2 在各种任务中都表现出卓越的能力，包括但不限于视觉问答、光学字符识别、文档/表格/图表理解和视觉基础。我们的模型系列由三个变体组成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，分别具有 1.0B、2.8B 和 4.5B 激活参数。
多模态大模型 deepseek-ai/Janus-Pro-1B
Zack的博客
02-15 1122
多模态大模型 deepseek-ai/Janus-Pro-1B
DeepSeek AI发布Janus：一款拥有图像生成能力的1.3B多模态模型
xx_nm98的博客
11-14 3997
在当今人工智能的浪潮中，多模态模型的崛起为我们带来了前所未有的创新可能性。最近，DeepSeek AI推出了其最新力作——Janus，这是一款具备强大图像生成能力的多模态模型，拥有13亿参数。这款模型的问世，将进一步推动AI在多个领域的应用，本文将带您深入了解Janus的独特之处及其广泛的应用前景。
DeepSeek 多模态大模型Janus-Pro本地部署教程
xiangzhihong8的专栏
02-06 3399
在这个春节期间最火的显然是 DeepSeek 了。据不负责统计朋友圈每天给我推送关于 DeepSeek 的文章超过20篇。打开知乎跟B站也全是 DeepSeek 相关的内容。关于DeepSeek究竟有多么的牛逼，这里就不多废话了。
一文搞懂DeepSeek的技术演进之路：大语言模型、视觉语言理解、多模态统一模型
weixin_59191169的博客
02-22 1386
DeepSeekLLM，旨在通过长期视角推动开源语言模型的发展。数据收集与预处理：首先，开发了一个包含2万亿token的数据集，并对其进行去重、过滤和重新混合。去重阶段通过跨多个dump进行去重，过滤阶段通过详细的语义和语言学评估来增强数据密度，重新混合阶段则通过增加代表性不足领域的存在来平衡数据。表1｜各种常见 Crawl dumps 去重比率DeepSeek LLM的微观设计主要遵循LLaMA的设计，采用Pre-Norm结构和RMSNorm函数，使用SwiGLU作为前馈网络的激活函数。
lora微调多模态大模型实战
最新发布
04-01
用户提到的多模态大模型，比如DeepSeek Janus-Pro 7B，可能需要同时处理文本、图像等多种数据，所以微调时要考虑不同模态的参数调整。 接下来，我得结合用户提供的引用内容。引用[1]提到LoRA的核心思想，引用[2]...
DeepSeek Janus-Pro 部署
qq_35685051的博客
02-13 653
ssh -L 8890:127.0.0.1:7860 -L 8891:127.0.0.1:7861 服务器用户名@服务器IP(xxx.xxx.x.xxx） -p 服务器的登录端口（abcd）之后，可以打开多个终端窗口，每个窗口运行一个 ssh -L 命令，同时转发Janus-Pro-7B和Janus-Pro-1B的端口。当问题的限制比较多时，Janus-Pro-7B会严格遵循格式回答，Janus-Pro-1B会自由发挥。Janus-Pro-7B的回答准确一些，更容易抓住关键词。
本地部署 DeepSeek Janus Pro 文生图大模型
weixin_55010563的博客
02-10 382
该框架通过将视觉编码解耦到不同的处理路径（同时仍使用单一统一的Transformer架构进行信息处理），有效解决了先前方法的局限性。这种解耦机制不仅缓解了视觉编码器在理解与生成双重角色间的冲突，还显著提升了框架的灵活性。Janus-Pro在性能上超越了以往的统一模型，并达到甚至超越了专用任务模型的表现水平。janus pro 默认启动的时候使用的是 7B 参数的模型，本地电脑跑起来的话太卡了。这里我们会修改成使用 1B 模型，这样的话大概 8G 的显存也能勉强跑一跑,7B 的话对显存的要求会更高。
人人都能上手部署DeepSeek模型：Janus-Pro香橙派开发板实践指南
Kenji_Shinji的博客
02-22 821
下载完成后模型权重将保存在/home/HwHiAiUser/Janus-Pro-1B中，如果要保存在其他位置，请修改local_dir参数，并同步修改mindnlp/llm/inference/janus_pro/understanding.py和mindnlp/llm/inference/janus_pro/generation.py中的model_path修改为对应的目录地址。开发板启动后，开发板支持多种连接方式，如串口连接、网线连接等，请参考用户手册的2.9、3.5、3.6节，如下图所示，
DeepSeek JanusPro-7B本地安装-唯一正确版
打造全国最全的AI Agent开发知识领域的博客
02-09 2814
搜遍Janus Pro git issues、谷哥、国内网络，教程全都是错的。因此还是决定写一部全网唯一正确的教程。目前网上的教程包括外网的教程都是“缺斤少量”，按照那些教程操作下来不是装不起来，就是装起来只能CPU运行，或者运行起来了Janus的Web前端老是转啊转不出内容。
本地部署 DeepSeek 多模态大模型！支持图像识别和图像生成
2501_90357013的博客
01-29 8089
DeepSeek开源多模态大模型Janus-Pro-7B，普通电脑可以直接安装使用！支持图像识别和图像生成，性能非常强悍！
DeepSeek 第二弹：Janus-Pro 文生图模型
云水木石
01-29 5834
最近，DeepSeek 可谓是科技圈的焦点，还火出了圈外，掀起了一场全民创作热潮。大家纷纷借助DeepSeek R1挥洒才情，实现诗人、小说家的梦想。然而，就在这场文字狂欢之际，DeepSeek 又悄然推出了一款重磅产品——Janus-Pro。Janus-Pro：更强大的文生图 AIJanus-Pro 之所以加上 Pro，是因为它是去年发布的Janus的增强版，专为提升多模态理解与视觉生成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Andy_shenzl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值