(9-3-05)MM-Vet多模态大模型评估系统：推理脚本（5）

最新推荐文章于 2025-04-30 22:17:06 发布

码农三叔

最新推荐文章于 2025-04-30 22:17:06 发布

阅读量150

点赞数 3

分类专栏：多模态大模型从入门到实战(数据集、训练、RAG、多模态) 文章标签：人工智能深度学习机器学习 python 神经网络多模态

本文链接：https://blog.csdn.net/asd343442/article/details/146175782

版权

多模态大模型从入门到实战(数据集、训练、RAG、多模态) 专栏收录该内容

318 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

9.3.10 Open Flamingo大模型推理

文件open_flamingo.py实现了一个多模态对话模型 Open Flamingo，支持同时处理图像和文本输入以生成自然语言回复。通过集成 CLIP 视觉编码器和语言模型（例如 MPT-7B），代码能够从提供的图像和文字中提取信息，并生成上下文相关的回答。模型特别适合多模态任务，如视觉问答、图文生成等。

class OpenFlamingo:
    def __init__(self, model_name='open-flamingo-9b'):
        if model_name == 'open-flamingo-9b':
            # 配置 CLIP 视觉编码器路径
            clip_vision_encoder_path = "ViT-L-14"
            clip_vision_encoder_pretrained = "openai"  #

了解本专栏