【多模态大模型实战】 搭建DeepSeek Janus-Pro 7B 多模态模型，以及推理微调，推理后的模型融合

模型信息

Janus-Pro是DeepSeek最新开源的多模态模型，是一种新颖的自回归框架，统一了多模态理解和生成。通过将视觉编码解耦为独立的路径，同时仍然使用单一的、统一的变压器架构进行处理，该框架解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus-Pro 超过了以前的统一模型，并且匹配或超过了特定任务模型的性能。

• 代码链接：https://github.com/deepseek-ai/Janus
• 模型链接：https://modelscope.cn/collections/Janus-Pro-0f5e48f6b96047
• 体验页面：https://modelscope.cn/studios/AI-ModelScope/Janus-Pro-7B
• 技术报告：https://github.com/deepseek-ai/Janus/blob/main/janus_pro_tech_report.pdf

安装虚拟环境

建议大家新建