太强了！能看图写代码的多模态大模型DeepSeek-VL

最新推荐文章于 2024-10-21 15:46:33 发布
最新推荐文章于 2024-10-21 15:46:33 发布
阅读量729 收藏 3
点赞数 3
文章标签： AIGC AI编程 AI写作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75431503/article/details/138868604
版权

🤖太强了！能看图写代码的多模态大模型DeepSeek-VL

DeepSeek-VL示意图

DeepSeek-VL示意图

在人工智能领域，多模态模型的发展正以惊人的速度突飞猛进。🚀 DeepSeekAI，这家得到幻方量化后盾的创新型企业，近期推出了一系列新的多模态大模型：DeepSeek-VL。这一系列模型包含从13亿至70亿的参数量，目标是极大提升机器对图像和文本的理解，同时也针对商业应用提供支持。

以下是一些实际应用场景：

🐍 看图写Python代码

当询问：“你能帮我用Python代码重新画一下这张图吗?”，模型的表现如何呢？

输入示例图

输入示例图

模型不仅输出了代码，还附带了详细的代码解释。

代码与解释

代码与解释

将这段代码运行一遍，结果一次成功，无任何错误。生成的图片与原图虽有细微差别，但已经非常接近。对于需要绘制图表的论文作者来说，这无疑是一个好消息。

生成图片与原图对比

生成图片与原图对比

👤 人物识别能力

来看另一个例子，模型能够精确地理解镜中的人物形象。

人物识别示例

人物识别示例

当然，DeepSeek-VL的应用远不止于此，还包括但不限于识别LaTeX公式、表格等多种功能。

LaTeX识别示例

LaTeX识别示例

学术Fun已经将以上工具封装成一键启动包，只需简单点击即可使用，避免了配置Python环境可能出现的问题。🔗 下载地址（仅限电脑浏览器访问）：🤖太强了！能看图写代码的多模态大模型DeepSeek-VL_学术FUN，在该页面右侧区域点击下载。

请注意，电脑配置需满足以下条件：
- Windows 10/11 64位操作系统
- 12G显存以上的NVIDIA显卡

📦 下载与使用教程

  1. 下载压缩包 下载链接（仅限电脑浏览器访问）：🤖太强了！能看图写代码的多模态大模型DeepSeek-VL_学术FUN，页面右侧点击下载。

  2. 解压文件 解压后，请确保路径中不包含中文字符。解压完成后，如下图所示，双击启动.exe文件。

    解压后的文件夹

    解压后的文件夹

  3. 启动服务 在浏览器地址栏输入 http://127.0.0.1:7860/，即可开始在浏览器中使用DeepSeek-VL模型。

    浏览器使用界面

    浏览器使用界面

各位新老朋友，麻烦点个赞👍和在看👀吧！

学术 FUN
关注
DeepSeek-VL论文阅读和整理
wentinghappyday的博客
03-25 1409
DeepSeek-VL的论文理解
深度搜索引擎：DeepSeek-VL - 探索智能视觉的新维度
gitblog_00012的博客
03-26 563
深度搜索引擎：DeepSeek-VL - 探索智能视觉的新维度 项目地址:https://gitcode.com/gh_mirrors/de/DeepSeek-VL 项目简介 是一个开源的深度学习项目，致力于提供高效的图像和视频检索解决方案。它基于先进的计算机视觉和自然语言处理技术，将文本描述与视觉数据匹配，使用户能够通过自然语言查询找到相关的图片或视频片段。 技术分析 1. 深度学习模型融合 D...
DeepSeek-VL 开源项目教程
gitblog_00007的博客
08-23 305
DeepSeek-VL 开源项目教程 DeepSeek-VL项目地址:https://gitcode.com/gh_mirrors/de/DeepSeek-VL 项目介绍 DeepSeek-VL 是一个由 Deepseek AI 团队开发的视觉语言处理开源框架。该框架旨在促进多模态数据的分析与理解，特别是在结合图像和文本数据的任务中表现出强大能力。它集成了先进的深度学习算法和高效的工具库，支持研...
DeepSeek发布多模态大型语言模型DeepSeek-VL，技术创新性突出
03-13 915
该模型参数规模为1.3B和6.7B,采用了创新的联合视觉和语言预训练方法,旨在解决传统的单模态预训练方法的局限性。在数据准备方面,采用了策略性数据采样方法,平衡了多模态数据和纯文本数据的比例,避免影响语言模型原有的语言理解能力。在模型架构方面,引入了混合视觉编码器,能够高效处理1024x1024高分辨率图像,同时控制了计算量的增长。在模型架构设计上,体现了在多任务场景下保持推理一致性和语义完整性的初衷。在训练方法上,采用了高效的训练算法,实现了对高分辨率图像的高效建模,且保持了语义丰富性。
以DeepSeek-VL为例，详解视觉语言模型原理及代码
人工智能曾小健
09-13 1189
目前图像占位符（<image_placeholder>）在token id中仅占一个位置（对应的token id为100015），但最终输入到LLM中的图像占的token数量是576，需要提前扩充，通过如下代码找到输入的token id中图像的位置，然后调用add_image_token函数将每一个图像占位符复制成576个，此时可以得到最终的输入到LLM中的token id list。然后就是过12层VIT的block了，最终的输出形状也为（576，1024）。
DeepSeek 推出开源多模态模型 Janus
最新发布
weixin_51674085的博客
10-21 234
是 DeepSeek 推出的首个多模态模型，一个基于 DeepSeek-LLM-1.3b-base 和 SigLIP-L 的 1.3B MLLM，解耦了视觉编码，适用于多模态理解和生成。此模型基于 DeepSeek 1.0 开源许可协议，完全允许商用，是 DeepSeek 在多模态领域的一大步！
DeepSeekAI发布多模态大模型DeepSeek-VL：从13亿到70亿参数的多模态精确度，免费商用
nulifancuoAI的博客
03-12 991
随着人工智能技术的不断发展，多模态大模型在理解复杂世界方面的能力日益增强。DeepSeekAI，一家由幻方量化支持的创新型大模型公司，最近发布了其最新的多模态大模型系列——DeepSeek-VL。该系列包含从13亿到70亿参数的模型，旨在提高机器对图像和文本的理解能力，同时支持广泛的商业应用。DeepSeek-VL系列代表了在多模态AI领域的一大突破，提供了两种不同规模的模型，分别是13亿参数和70亿参数模型。
多模态大模型微调-基于Lora对Qwen-VL多模态大模型进行微调-附项目源码+流程教程-优质项目实战.zip
10-16
多模态大模型微调_基于Lora对Qwen_VL多模态大模型进行微调_附项目源码+流程教程_优质项目实战
3月12日 工作记录 DeepSeek-VL阅读笔记
Hagtaril
03-12 1023
昨天考完试，晚上把那个讨人厌的项目做了阶段结果给合作者展示去了，然后就看到deepseek发布了vision language的技术报告，于是打算今天上午看看。
看图说话-基于CLIP实现的看图说话算法-多模态大模型应用-附项目源码+流程教程-优质项目实战.zip
10-16
看图说话_基于CLIP实现的看图说话算法_多模态大模型应用_附项目源码+流程教程_优质项目实战
多模态大模型了解-cv大模型-视频大模型
08-22
研究分析
deepseek-vl 论文阅读笔记
samoyan的博客,记录技术成长~
07-22 1490
我们的语言模型基于DeepSeek LLM（DeepSeek-AI，2024），其微设计大体遵循LLaMA（Touvron等，2023a,b）的设计，采用带有RMSNorm（Zhang和Sennrich，2019）函数的Pre-Norm结构，并使用SwiGLU（Shazeer，2020）作为前馈网络（FFN）的激活函数，中间层维度为8/3模型维度。此外，我们引入了一种新的“模态预热”策略。为了促进创新并支持广泛的应用需求，我们公开了两个版本的模型，分别为1.3B和7B，以满足不同计算能力的需求。
DeepSeek-VL 开源项目使用教程
gitblog_00212的博客
08-23 426
DeepSeek-VL 开源项目使用教程 DeepSeek-VL项目地址:https://gitcode.com/gh_mirrors/de/DeepSeek-VL 本教程旨在帮助开发者快速理解和上手 DeepSeek-VL 开源项目。我们将通过三个核心部分来展开：项目目录结构、启动文件简介以及配置文件解析，以Markdown格式详细说明，以便于您能够高效地集成和应用这个项目。 项目目录结构 D...
用PyTorch从零开始编写DeepSeek-V2
deephub
07-23 5143
本文详细介绍了DeepSeek-V2语言模型，这是一个强大的开源混合专家（MoE）语言模型，采用创新的架构来提高训练和推理的经济性和效率。DeepSeek-V2采用了两种核心技术：细粒度专家分割和共享专家隔离，这两种策略显著提高了专家的专业化水平。此外，文章还介绍了多头隐性注意力（MLA），这是一种改进的注意力机制，通过低秩键值联合压缩和解耦旋转位置嵌入，优化了模型的存储和计算效率。除了理论探讨，我们通过编写代码实现DeepSeek-V2，可以更深入地理解其架构和工作原理。
【Unity+AI01】在Unity中调用DeepSeek大模型！实现AI对话功能！
leoysq的博客
06-08 1209
请注意，上述代码仅为示例，你需要根据DeepSeek API的具体要求来调整URL、参数和JSON解析逻辑。此外，确保你的Unity项目中包含了所有必要的库，并且你的API密钥是安全的，不要在公共代码库中暴露它。将用户输入与API调用脚本集成，使得用户输入的文本能够被传递给API，并且API的响应能够被显示在Unity的UI中。在Unity中创建一个脚本，用于处理用户输入和API调用。以下是一个简单的示例，展示了如何使用。在Unity中运行你的应用程序，测试用户输入和API调用的流程，确保一切按预期工作。
【AIGC调研系列】DeepSeek模型的优势和劣势
zachary的博客
03-26 3335
DeepSeek模型在多模态处理、高性能计算、开源授权等方面展现出显著优势，尤其在处理多种类型数据和提供技术支持方面具有明显优势。然而，它在处理极其复杂场景和与顶级模型竞争方面仍面临挑战。
大模型日报｜今日必读的7篇大模型论文
AMiner2006的博客
03-11 1234
大模型日报｜今日必读的7篇大模型论文
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值